활성화 함수, Activation Function 비선형 함수 사용 이유 은닉층에서 이진 활성화 함수를 활성화 함수로 사용할 경우, 다중 출력이 불가능하다는 문제점이 존재한다. 은닉층에서 선형 활성화 함수를 활성화 함수로 사용할 경우, 역전파가 불가능하고 층(layer)을 깊게 쌓는 의미가 사라진다.따라서 은닉층에서 비선형 활성화 함수를 활성화 함수로 사용하는 것이 바람직하다. 시그모이드 함수, Sigmoid(Logit) function 출력값이 0과 1 사이 출력값의 중심이 1212이다. (not zero-centered) 입력값이 커질수록 출력값은 1에 가까워지고, 입력값이 작아질수록 출력값은 0에 가까워진다. 입력값이 커질수록/작아질수록 기울기(gradient)는 0에 가까워진다. 이진 분류(binary classification) 문제에서 출력층.. 2022. 11. 24. 이전 1 다음
