신경망 관련 내용 메모

2021.03.04 신경망 관련 내용 메모

Shallow Neural Network 단점

→ XOR 같은 쉬운 문제를 해결할 수 없다.

 

활성화 함수 f를 사용해야 하는이유

활성화 함수를 사용하지 않은 채로 입력값과 가중치를 연산하면,

종래에는 Shallow Neural Network와 동일한 연산 절차를 수행하므로,

학습이 선형적으로만 이루어져 정확도 향상에 한계가 있기 때문에,

비선형 활성화 함수 f를 사용해야 한다.

비선형 활성화 함수에는 unit step, sigmoid, tanh 등이 존재하는데,

unit step은,

파란색으로 표시된 영역에서의 미분이 불가능하기 때문에 잘 사용하지 않는다.