ANN - Perceptron 학습

사람 뇌의 Neuron을 모방한 것이다.

학습은  w를 구하는 것이다.

-분류 동작:

f(s) > 0 이면 class 1, f(s) <= 0이면 class -1이다.

-훈련 집합 : 

-학습 될 매개변수 집합 :

-Cost Function

Y는 잘 못 분류된 훈련집합이다.  Y가 작아질 수록 J의 값은 작아진다.분류가 잘 못 될 경우 시그마 안의 두 괄호의 부호가 같아져서 양수값이된다. 간단한 계산을 위해 f(s)는 빼고 s만을 사용한다.

Cost Function은 잘 못된 학습량, 즉 Error를 나타낸다.

이 Error를 가장 작게하는 것이 학습 목표이다.

최적화 방법으로 Gradient Descent Method가 사용된다.

-Gradient Descent Method

Cost Function J를 보면 Y가 등장한다. 이 집합 Y는 동적으로 변하기 때문에 J는 매개변수 W로만 이뤄진게 아니라 Y또한 고려하여 최적화를 해야한다. 그래서 반복 알고리즘인 Gradient Descent Method를 사용하는 것 같다.

j를 cost function, s를 쎄타, a = f(s)라고 간략히쓰면 j = (s+a)^2이라고 생각 할 수 있다. 모든 쎄타에 대해 j의 값을 구할려면 엄청나게 많은 경우의 수를 생각해야한다.그래서 j의 미분의 반대방향으로 세타를 찾는다.

j를 미분하면

w를 구했다.

- Algorithm, batch mode

- Algorithm, pattern mode

- Algorithm, pocket algorithm pattern mode

포켓 알고리즘이란 안 좋은 이전 것을 버리고 좋은 새것을 포켓에 넣는 것에 비유하여 붙여진 이름이다.