Activation Function in Artificial Neural Network

ANN을 간략히 소개한 전 게시물에서, 출력 값이 Threshold 이상인 경우 1, 이하인 경우 -1로 되어 있는 것을 볼 수 있다. 사실 출력 값은 Activation Function이라 불리는 함수 종류 중 어떤 것을 쓰냐에 따라 결정된다. 활성 함수는 뉴런이 연결된 입력과 가중치의 곱들의 합을 인자로 하며, 예를 들어 다음 종류의 것들이 있다.

초기에는 활성 함수로 Step Function을 사용했다. 이는 입력에 따라서 출력이 0과 1처럼 극단적인 결과만을 도출하기 때문에 Multi Layer ANN인 경우 좋은 결과를 얻기가 어렵다.
따라서 활성 함수로 Step Function을 사용하는 대신에, Sigmoid Function을 사용하면 입력을 조금 변화 시켰을 때 출력이 조금씩 변화하도록 만들 수 있다. 이는 Sigmoid Function이 0에서 1까지 연속적으로 변하는 출력값을 갖기 때문이다.