3. 확률 분포 추정 - 히스토그램 추정(histogram estimation)

범위를 만들어 구간별로 그 안의 샘플 수를 셀 수 있도록 하는것이다.

하나의 구간은 빈(bin)이라 부른다.

히스토그램을 확률분포로 쓰기 위해서는 각 빈의 값을 $N$으로 나누어 정규화(normalized)해주면 된다.

표현과 연산이 단순하면서 직관적이지만 상황에 따라 그 쓰임새가 제한적이다.

이 방법은 유한한 개수의 구간에 대해 확률을 구하므로 이산확률 분포를 만들어 준다. 최대 우도 추정은  연속 확률 분포, 즉 확률 밀도 함수(pdf)를 추정하는 방법이다.

 

히스토그램 추정의 한계

-현실적으로 쓰기 위해서는 확률분포가 정의되는 공간의 차원이 낮고 $X$의 크기가 충분히 커야 한다.

-특징 벡터가 $d$ 차원이라하고 각 차원을 $s$개의 구간으로 나눈다면 총 $s^d$개의 밴이 생긴다. 따라서 빈의 개수는 $d$에 따라 지수적으로 증가하므로 이는 차원의 저주이다.