베이즈 정리(Bayes' theorem)

$n$개의 사상 $\{B_1,B_2,\cdots,B_n \}$이 표본공간 $S$의 분할이다.
사상 $A$가 표본공간 $S$의 임의의 사건이라면
$$P(B_i|A)=\dfrac{P(B_i)P(A|B_i)}{\sum_{i=1}^{n}P(B_i)P(A|B_i)}$$

 

사상 $B_1,B_2,\cdots,B_n$이 표본공간 $S$의 분할(Partition)이라하자.

즉, $S=B_1 \cup B_2 \cup \cdots\cup B_n$ 그리고 $B_i \cap B_j \neq \varnothing,\;\;\; i \neq j$

이때 $B_1, B_2, \cdots, B_m$은 상호 배반(matually exclusively)이며 포괄적(exhaustive)이다.

그러므로

$B_i \cap B_j = \varnothing(i \neq j)$ 그리고 $B_1 \cup B_2 \cup \cdots \cup B_m = S$ 이다.

 

전체확률의 법칙과 사상의 독립에 의해

사상 $B_i$의 사전확률인 임의의 사상 $A$는 $m$개의 상호 배반 사상들의 합집합으로 나타낼 수 있다.

$A = (B_1 \cap A) \cup (B_2 \cap A) \cup \cdots \cup (B_m \cap A)$ 이때 $P(B_i) > 0$ 이다.

따라서

$$\begin{align*}
P(A) &= \sum_{i=1}^{m}P(B_i \cap A)\\
&=\sum_{i=1}^{m}P(B_i)P(A|B_i)
\end{align*}$$

위 식은 전환률의 법칙(law of total probability) 라고 불린다.

 

만약 $P(A)>0$ 이면

$$P(B_k | A) = \dfrac{P(B_k \cap A)}{P(A)},\;\;\;k=1,2,\cdots,m$$

 

위 2개의 식을 대입하면

$$P(B_k | A) = \dfrac{P(B_k)P(A|B_k)}{\sum_{i=1}^{m}P(B_i)P(A|B_i) },\;\;\;k=1,2,\cdots,m$$

위 식을 베이즈 정리(Bayes' theorem) 라 한다.

이때

$P(B_k)$ : 사상 $B_k$의 사전확률(prior probability)

$P(B_k|A)$ : 사상 $B_k$의 사후확률(posterior probability)

라고 한다.