codingfarm

$\circ$ 최근접 이웃 추정과 유사하다. $\circ$ 훈련집합 $X=\{(\mathscr x_1,t_1),\cdots,(\mathscr x_N,t_N)\}$이 주어져 있다. 훈련샘플중에 $w_i$에 속하는것의 개수를 $N_i$라 한다. 미지의 샘플 $X$를 분류하는 문제가 주어젔을때 $X$를 중심을 창을 씌우고 훈련샘플중 $k$개가 들어올때까지 창의 크기를 확장해 나간다. $k$개가 들어온 순간 창의 크기가 $h_{\mathscr x}$ 이면 창의 부피는 $h_{\mathscr x}^{d}$가 된다. 창안에 들어온 샘플중 $w_i$에 속하는 것의 갯수를 $k_i$라 한다. $k$ : 창안에 들어와야 할 샘플의 수 $h_{\mathscr x}$ : $k$개가 들어온 순간 창의 크기 $h_{\maths..

$\circ$ 파젠창은 고정된 크기의 창의 중심 $\mathscr x$를 어디에 두느냐에 따라 창안의 샘플수가 달라진다. $\circ$ k-최근접 이웃법은 $\mathscr x$를 중심으로 샘플이 k개 들어올때 까지 창의 크기를 확장해나간다. $k$개가 들어온순간 창의 크기를 $h$라 한다. 파젠창 k-최근접 이웃추정 $h$고정, $k$가 $\mathscr x$에 따라 변화 $k$ 고정, $h$가 $\mathscr x$에 따라 변화 큰 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 희소하게 분포함을 뜻하므로 확률이 낮아야 하고 작은 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 빽빽하게 분포함을 뜻하므로 확률이 높아진다. 이 원리를 바탕으로 아래식을 활용하여 확률 분포의 추정이 가능..

$\circ$ 최대 우도 추정법에서 나온 ML과 MAP는 모수적(parametric) 방법이다. $\circ$ 모수적 방법은 매개변수 $\Theta$ (모수)로 표현할 수 있는 특정한 종류의 확률분포에만 사용가능하다는 한계를 지녔다. 현실에서는 특정한 확률 분포를 안따르는 경우가 매우 많음. $\circ$ 이 절에서는 확률 분포 추정을 위한 비모수적방법(nonparametric)으로 파젠창과 최근접이웃을 소개한다. $\circ$ k-NN 분리기는 확률분포 추정을 위한 방법이 아니라 분류를 위한 방법이다. 하지만 동작 원리 측면에서는 최근접 이웃과 유사하다. 파젠 창(Parzen window) $\circ$ 임의의 확률 분포에 적용 가능하다. 그림 3.6 (a)에서 임의의 점 $x$에서 확률값을 추정하고 ..

범위를 만들어 구간별로 그 안의 샘플 수를 셀 수 있도록 하는것이다. 하나의 구간은 빈(bin)이라 부른다. 히스토그램을 확률분포로 쓰기 위해서는 각 빈의 값을 $N$으로 나누어 정규화(normalized)해주면 된다. 표현과 연산이 단순하면서 직관적이지만 상황에 따라 그 쓰임새가 제한적이다. 이 방법은 유한한 개수의 구간에 대해 확률을 구하므로 이산확률 분포를 만들어 준다. 최대 우도 추정은 연속 확률 분포, 즉 확률 밀도 함수(pdf)를 추정하는 방법이다. 히스토그램 추정의 한계 -현실적으로 쓰기 위해서는 확률분포가 정의되는 공간의 차원이 낮고 $X$의 크기가 충분히 커야 한다. -특징 벡터가 $d$ 차원이라하고 각 차원을 $s$개의 구간으로 나눈다면 총 $s^d$개의 밴이 생긴다. 따라서 빈의 개수..