확률 기초

참고자료: 패턴인식 (오일석)

terms
probability, random variable, probability density function, conditional probability, joint probability
marginal probability, prior probability, likelihood, posterior probability, bayes rule, confidence.

probability이란 어떤 사건들의 집합을 정의하기에 따라서 다라진다.
각 사건들은 probability를 가지고 있다. probability는 0보다 크고 모든 경우의 합은 1 이다.
1. 동전 던지기 -> 앞면, 뒷면 -> 0.5, 0.5
2. 주사위 던지기 -> 1, 2, 3, 4, 5, 6 -> 1/6, ..., 1/6
3. 날씨 -> 맑음, 비, 눈
4. 로또 -> 1~45 중 6개 중복 없이, 순서 없음

random variable이란 사건들을 하나의 변수로 표시하는 것이다.
동전 던지기: \( X \in \{앞면, 뒷면\} \)
$ P(X=앞면) = 0.5, P(X=뒷면) = 0.5 $

random variable이 2가지인 경우
아래 그림에는 주머니 한개와 바구니 두개가 있다.
주머니에서 바구니 선택 사건(event) 이후 선택된 바구니에서 공 선택 사건(event)이 일어나는 실험이다.
즉 이 시스템에는 순서가 있는것이다. 
아래와 같이 X, Y 두개의 random variable이 있다.
$ X \in \{A,B\}, Y \in \{하양, 파랑\} $

prior probability
일련의 두 사건 중 주머니에서 바구니를 선택하는 사건은 두번째 사건이 일어나기 전에 일어나는 
사건이기 때문에 사전 확률이다.
주머니에서 A가 뽑힐 확률 \( P(X=A) = P(A) = 7 \div 10\)

conditional probability
바구니 A에서 하얀 공이 뽑힐 확률, 주머니에서 이미 A가 선택되었다는 조건 하의(given) 확률, 조건부 확률.
실제 확률 값에 영향을 미치지 않고 수식적으로 조건을 표시해줌.
$ P(하양|A) = 2 \div 10 $

joint probability
주머니에서 A가 뽑히고 바구니 A에서 하양이 뽑힐 확률.
두 사건이 연속적으로 일어날 확률을 구해야한다. 곱셈이다.
$ P(X=A, Y=하양) = P(A, 하양) = P(A)P(하양|A) = 7 \div 10 \times 2 \div 10 = 7\div50 $
joint probability는 \( P(X, Y) = P(Y, X) \) 가 성립한다.(product rule)
$ P(X=A, Y=하양) = P(A)P(하양|A) =  P(Y=하양, X=A) = P(하양)P(A|하양)$

marginal probability
최종적으로 하얀공이 뽑힐 확률.
최종적으로 하얀공이 뽑히는 경우는 아래 두 joint probability를 생각할수 있다.
1. 주머에서 A가 뽑히고 바구니 A에서 하얀공이 뽑히는 경우
2. 주머에서 B가 뽑히고 바구니 B에서 하얀공이 뽑히는 경우
두사건이 연속적이지는 않고 최종적으로 하얀공이 뽑히는 경우의 수가 증가했다고 볼수있다. 
그래서 두 joint probability를 더하면된다.
$ P(Y=하양) = P(A, 하양) + P(B, 하양) $
$ P(B, 하양) = P(B)P(하양|B) = 3 \div 10 \times 9 \div 15 = 9\div50 $
$ P(Y=하양) = 7\div50 + 9\div50 = 8\div25$
최종적으로 검은공이 뽑힐 확률.
$ P(Y=검정) = P(A, 검정) + P(B, 검정) = 1 - P(Y=하양) = 17\div25 $
$ P(A)P(검정|A) + P(B)P(검정|B) = 7 \div 10 \times 8 \div 10 + 3 \div 10 \times 6 \div 15 = 17\div25 $

independent
random variable이 서로 영향을 미치지 못하는 경우.
\( P(X,Y) = P(X)P(Y) \) 를 만족해야한다.
위 예제의 경우, 결론부터 이야기하자면 주머니(\(X\)) 가 공색깔(\(Y\))에 영향을 주기때문에 독립이 아니다.
\( P(X,Y) \) 는 joint probability 이다.
\( P(X) \) 는 바구니 선택 probability 이고 \( P(Y) \) 는 marginal probability으로 계산되기 때문이다.
$ P(X=A, Y=하양) = 7\div50 $
$ P(X=A)P(Y=하양) =  7 \div 10 \times 8 \div 25 = 28 \div 125$
\( P(X=A, Y=하양) \neq P(X=A)P(Y=하양) \), 비독립이다.

likelihood 
likelihood는 공색의 확률을 구하는 문제가 아니라 바구니의 확률을 구하는 문제의 관점이다. 
즉, 하얀 공이 나왔는데 어느 바구니에서 나왔는가?
주머니를 고려하지 않고 각 바구니에서 하얀공이 나올 확률이 높은 바구니를 생각할수있다.
likelihood 우도는 conditional probability와 같다. 그러나 합이 1이 아니기 때문에 우도 함수라한다.
$ P(하양|A) = 2 \div 10, P(하양|B) = 9 \div 15, P(하양|A) +P(하양|B) = 12 \div 15 $ 

posterior probability
"하얀 공이 나왔는데 어느 바구니에서 나왔는가? "
주머니만 고려한경우는 \( P(A) = 7 \div 10 > P(B) = 3 \div 10 \) 이기때문에 A 주머니라고 생각할 수 있다.
그러나 주머니와 바구니 둘다 고려해야한다.
문제의 관점을 바꿔서 생각해보면 하얀 공이라는 조건이 주어졌고 바구니의 확률을 구하는 문제이다.
사후에 활률을 구하기때문에 posterior probability라고 한다.
$ P(A|하양), P(B|하양), P(X|Y)$
둘 중 더 큰 값을 갖는 바구니를 선택하면 된다. 그럼 위 두 값을 어떻게 계산할것이냐?
joint probability의 product rule에서 bayes rule이 유도되어 풀수 있다.
$ P(X, Y) = P(Y, X) $
$ P(X)P(Y|X) = P(Y)P(X|Y) $
$ P(X)P(Y|X) \div P(Y) = P(X|Y=하양) $
여기서 \( P(Y) \)는 위에서 구했던 marginal probability로 구할 수 있다. (하얀 공이 나올 활률)
그리고 \( P(X) \)는 prior probability 이다. (주머니에서 바구니 선택 확률)
마지막으로 \( P(Y|X) \) 는 likelihood 이다. (각 주머니에서 공색의 확률)
 $ P(X|Y) = \frac{ likelihood \times prior \ probability}{marginal \ probability} $
$ P(A|하양) = \frac{ P(하양|A)P(A) }{P(하양)} = \frac{( 2 \div 10 )( 7 \div 10 )}{ 8 \div 25} = 0.4375 $
$ P(B|하양) = \frac{ P(하양|B)P(B) }{P(하양)} = \frac{( 9 \div 15 )( 3 \div 10 )}{ 8 \div 25} = 0.5625 $
0.5625의 신뢰도(confidence)로 주머니 B에서 하얀공이 나왔다고 할 수 있다.