3. 확률 분포 추정-개요

2장 내용 정리

$\circ$ 관찰된 샘플에서 특징벡터 $X$를 추출한다.

$\circ $ $X$는 제일 그럴듯한 부류로 분류되어야 하며, 분류기준은 사후확률 $P(w_i|X)$(posterior probability)로 정의한다. 즉, 사후확률이 제일 큰 부류로 인식하면 된다.

$\displaystyle \underset{i}{argmax}\;P(w_i|X)$

 

$\circ$ 하지만 $P(w_i|X)$는 추정이 거의 불가능하다. 따라서 베이스정리를 이용해 사후확률을 사전확률(prior probability) $p(W_i)$와 우도(likehood) $P(X|w_i)$의 곱으로 대치해서 계산한다.

$\circ$ 2장에서 사전학률과 우도를 미리 알고있다 가정하고 베이시언 분류기를 만들었으나, 3장에서는 이득 활률을 어떻게 추저할지에 집중한다.

$\displaystyle P(w_i) = \frac{N_i}{N}$, ($N$ : 입력 $X$의 갯수, $N_i$ : $w_i$에 속하는 입력의 갯수)

 

우도 $P(X|w_i)$의 추정은 쉽지 않다.

그림 2.4 (a) 처럼 정규 분포의 형태를 띄고 있다면 문제는 크게 쉬워진다. 정규분포를 추정하기 위한 평균벡터 $\mu$와 공분산행렬 $\Sigma$만 알면되므로 최대우도법으로 알 수 있다.

 

하지만 그림 2.4 (b)의 형태를 띈다면 함수의 추정이 쉽지 않으므로 히스토그램 추정법으로 해결해야한다. 하지만 이 방법은 차원의 저주에 시달리게 된다.

 

다른 부류에 속한 샘플은 서로 영향을 미치지 않는다 가정할 경우 우도는 부류별로 독립적으로 수행 할 수 있다. 그렇기 때문에 "$X$중에 $w_i$에 속하는 샘플집합 $X_i$를 가지고 $p(\mathscr x|w_i)$를 추정하라. 이 과정을 모든 부류에 대해 수행하라" 라고 문제를 표현할 수 있다. 앞으로는 표기의 편리성을 위해 $X_i$를 가지고 $p(\mathscr x|w_i)$를 추정하라는 문제는 $X$로 $(\mathscr x)$를 추정하라는 문제로 표기하겠다. 부류별로 독립적으로 추정하므로 부류를 나타내는 첨자 $i$ 를 모두 제거하여 표기한것이다.

 

아래는 확률분포를 추정하기 위한 여러가지 방법이다.