codingfarm

$\circ$ 파젠창은 고정된 크기의 창의 중심 $\mathscr x$를 어디에 두느냐에 따라 창안의 샘플수가 달라진다. $\circ$ k-최근접 이웃법은 $\mathscr x$를 중심으로 샘플이 k개 들어올때 까지 창의 크기를 확장해나간다. $k$개가 들어온순간 창의 크기를 $h$라 한다. 파젠창 k-최근접 이웃추정 $h$고정, $k$가 $\mathscr x$에 따라 변화 $k$ 고정, $h$가 $\mathscr x$에 따라 변화 큰 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 희소하게 분포함을 뜻하므로 확률이 낮아야 하고 작은 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 빽빽하게 분포함을 뜻하므로 확률이 높아진다. 이 원리를 바탕으로 아래식을 활용하여 확률 분포의 추정이 가능..

$\circ$ 최대 우도 추정법에서 나온 ML과 MAP는 모수적(parametric) 방법이다. $\circ$ 모수적 방법은 매개변수 $\Theta$ (모수)로 표현할 수 있는 특정한 종류의 확률분포에만 사용가능하다는 한계를 지녔다. 현실에서는 특정한 확률 분포를 안따르는 경우가 매우 많음. $\circ$ 이 절에서는 확률 분포 추정을 위한 비모수적방법(nonparametric)으로 파젠창과 최근접이웃을 소개한다. $\circ$ k-NN 분리기는 확률분포 추정을 위한 방법이 아니라 분류를 위한 방법이다. 하지만 동작 원리 측면에서는 최근접 이웃과 유사하다. 파젠 창(Parzen window) $\circ$ 임의의 확률 분포에 적용 가능하다. 그림 3.6 (a)에서 임의의 점 $x$에서 확률값을 추정하고 ..

범위를 만들어 구간별로 그 안의 샘플 수를 셀 수 있도록 하는것이다. 하나의 구간은 빈(bin)이라 부른다. 히스토그램을 확률분포로 쓰기 위해서는 각 빈의 값을 $N$으로 나누어 정규화(normalized)해주면 된다. 표현과 연산이 단순하면서 직관적이지만 상황에 따라 그 쓰임새가 제한적이다. 이 방법은 유한한 개수의 구간에 대해 확률을 구하므로 이산확률 분포를 만들어 준다. 최대 우도 추정은 연속 확률 분포, 즉 확률 밀도 함수(pdf)를 추정하는 방법이다. 히스토그램 추정의 한계 -현실적으로 쓰기 위해서는 확률분포가 정의되는 공간의 차원이 낮고 $X$의 크기가 충분히 커야 한다. -특징 벡터가 $d$ 차원이라하고 각 차원을 $s$개의 구간으로 나눈다면 총 $s^d$개의 밴이 생긴다. 따라서 빈의 개수..

해당 블로그글들을 많이 참고하였다. https://medium.com/mighty-data-science-bootcamp/%EC%B5%9C%EB%8C%80-%EC%9A%B0%EB%8F%84-%EC%B6%94%EC%A0%95-maximum-likelihood-estimation-mle-5c3a80d6b25a https://ratsgo.github.io/statistics/2017/09/23/MLE/ 최대 우도 추정(ML estimation) ML 방법 샘플집합 $X$가 주어질때 $X$를 발생시켰을 확률이 가장 높은 $\Theta$를 찾기 위해 $L(\Theta|X)$를 최대로 하는 $\Theta$를 찾는 방법이다. 베이즈 원리에 의해 $L(\Theta|X)$는 $P(X|\Theta)$에 비례하므로 $$\h..