이산형 확률분포(Discrete Distribution)- 특별한 수학적 기댓값

$\circ$확률변수 $X$가 공간 $\displaystyle S=\{u_1,u_2,\cdots,u_t\}$ 에서 $pmf$ $f(x)$를 갖고, 각각의 확률이 $P(X=u_i)=f(u_i)>0$ 이고 $\displaystyle \sum_{x \in S}f(x)=1$ 일때 확률변수 $X$의 평균(mean)은 아래와 같다.

$$\mu=\sum_{x \in S}xf(x)=u_1f(u_1)+u_2f(u_2)+\cdots u_kf(u_k)$$

 

적률(moment)

확률변수 $X$의 $pmf$가 $f(x)$일 때


$a$에 관한 시스템의 $n$차 적률은 아래와 같다.

$$\sum_{x\in S}(x-a)^nf(x)$$


$X$의 평균은 원점에 대한 1차적률이다.

$$\sum_{x\in S}xf(x)$$


평균에 관한 2차적률을 $X$의 분산이라 한다.

$$\sigma^2=\sum_{x\in S}(x-\mu)^2f(x)$$


$Y=aX+b$ 이면

$$\begin{align*}E[Y]&=aE[X]+b\\V[Y]&=a^2V[X]\\\sigma[X]&=|a|\sigma(x)\end{align*}$$

$\circ$기계학에서 거리와 가중치의 곱을 적률(moment)이라고 한다.

$u_i$가 원점에서 i번째 점의 거리라면, $u_i$와 가중치 $f(u_i)$의 곱 $u_if(u_i)$의 총합은 시스템의 적률이다.

실제로 평균 $\mu$는 원점에 관해 1차 적률이라 한다.

1차 : 거리의1차 멱(power)을 사용함.

거리의 2차멱을 사용한 $u_i^2f(u_i)$의 총합은 원점에 관해 2차 적률 이라 한다.

평균에 관한 2차 적률인

$$\sigma^2=\sum_{x \in S}(x-\mu)^2f(x)=(u_1-\mu)^2f(u_1)+(u_2-\mu)^2f(u_2)+\cdots+(u_k-\mu)^2f(u_k)$$

를 확률변수 X의 분산(variance)라 하고 $Var(x)$로 표시한다. 제곱근($\sigma$)을 표준편차(standard deviation)라 한다.

$$\begin{align*} \sigma^2&=E[(X-\mu)^2]=E[X^2-2\mu X+ \mu^2]\\  &=E(X^2)-2\mu E(X)+\mu^2\\  &=E(X^2)-\mu ^2\\  E(X^2)&=\sum_{x \in S}x^2f(x)  \end{align*}$$

 

$\therefore$분산과 표준편차는 여러 데이터들의 중간점(평균)으로부터 각자 얼마나 산개 되어 있는지를 나타내는 척도이다.

 

 

$\circ$ X가 평균 $\mu_X$와 분산 $\sigma_x^2$을 갖는 확률변수라 하자. 그러면

$Y=aX+b$도 확률변수이며

$\displaystyle \mu_Y=E(Y)=E(aX+b)=aE(X)+b=a\mu_X+b\\ \sigma_Y^2=E[(Y-\mu_Y)^2]=E[(aX+b-a\mu_x-b)^2]=E[a^2(X-\mu_x)^2]=a^2\sigma_X^2\\ \sigma_Y=|a|\sigma_X$

 

분산과 표준편차는 b에 영향을 받지 않음을 알 수 있다. 즉, 상수를 더하거나 빼는데엔 영향이 없다.

r이 양의 정수이고 $\displaystyle E(X^r)=\sum_{x \in S}x^rf(x)$

가 유한(finite)로 존재한다면 $E(X^r)$을 원점에 관해 분포의 r차 적률(moment)이라 한다.

또한

$\displaystyle E[(X-b)^r]=\sum_{x \in S}(x-b)^rf(x)$

를 b에 관해 분포의 r차 적률 이라 한다.

 

주어진 양수 r에 관해

$E[(X)_r]=E[X(X-1)(X-2)\cdots(X-r+1)]$

을 r차 계승 적률(factorial moment)이라고 한다.

 

ex) 2차 계승적률 : $E[(X)_2]=E[X(X-1)]=E(X^2)-E(X)$

2차 계승적률을 확용하여 분산을 쉽게 구할 수 있다.

$\begin{align*} \sigma^2&=E[X(X-1)]+E(X)-[E(X)]^2\\ &=E(X^2)-E(X)+E(X)-[E(X)]^2=E(X^2)-\mu^2 \end{align*}$

 

$\blacksquare$

 

적률 생성 함수(moment generating function; mgf)

$X$의 적률생성함수($mgf$)
$$M(t)=E(e^{tx})=\sum_{x \in S}e^{tx}f(x)$$
$$\begin{align*} M^{(r)}(t)&=\sum_{x \in S}x^re^{tx}f(x)\\ M^{(r)}(0)&=\sum_{x \in S}x^rf(x)=E(X^r) \end{align*}$$

$mgf$의 특징
$\bullet$ mgf는 분포의 평균, 분산, 표준편차의 계산을 위한 $E(X)$와 $E(X^2)$의 생성을 편리하게 하는 함수이다.
$\bullet$ mgf는 유일성(uniqueness property)를 갖는다.
$\bullet$ t=0 이라 놓으면 명백하게 $M(0)=1$이다.

$mgf$가 존재하면
$$\begin{align*} \mu&=M'(0)\\ \sigma^2&=M''(0)-[M'(0)]^2 \end{align*}$$

$\bullet$ S의 공간이 $S=\{b_1,b_2,\cdots\}$ 이라면 적률 생성 함수는
$\displaystyle M(t)=e^{tb_1}f(b_1)+e^{tb_2}f(b_2)+e^{tb_3}f(b_3)+\cdots$

$\bullet$ $X$는 이산형 $pmf$ $f(x)$와 공간 $S$를 가지는 확률 변수 이다. $-h<t<h$를 만족하는 $h>0$에 대하여 다음 기댓값

$\displaystyle E(e^{tx})=\sum_{x \in S}e^{tx}f(x)$

가 존재하고 유한(finite)이라면

$\displaystyle M(t)=E(e^{tx})$

위의 함수를 $X$의 적률 생성 함수라고 하고 $mgf$ 라고 표기한다.

 

또한 적률생성함수가 유한이라면 적률생성함수가 분포를 완전히 결정한다.

즉, $mgf$는 확률 변수의 분포를 유일하게 한다.

 

이다. 여기서 $e^{tb_1}$의 계수는 확률

$f(b_i)=P(X=b_i)$

와 같다.

 

$\therefore$두 확률변수(확률분포)가 같은 $mgf$를 갖는다면 두 확률변수들은 똑같은 확률분포를  가져야 한다.

 

즉, 두 확률변수 $X$와 $Y$가 각각 $pmf$로서 $f(x)$와 $g(y)$를 갖고, 같은 공간 $S=\{b_1,b_2,b_3,\cdots\}$를 갖는다면, 그리고 $-h <t<h$의 모든 $t$에 대해

$e^{tb_1}f(b_1)+e^{tb_2}f(b_2)+e^{tb_3}f(b_3)+\cdots=e^{tb_1}g(b_1)+e^{tb_2}g(b_2)+e^{tb_3}g(b_3)+\cdots$

을 갖는다면 수학이론은

$f(b_i)=g(b_i),\;\; i=1,2,3,\cdots$

을 요구한다.

 

$\therefore$이산형 확률변수의 적률생성함수는 확률 변수의 분포를 유일하게 결정한다.

즉, $mgf$가 존재하면 $mgf$에 상응하는 오직 하나의 확률 분포가 존재한다.

 

 

수학이론으로부터 $-h < t < h$에 대해 $M(t)$가 존재한다면 $M(t)$에 대한 모든 차수의 도함수가 $t=0$에서 존재한다. 또한 미분과 총합의 순서를 바꾸어 계산하는것이 가능하다.

그러므로

$\displaystyle M'(t)=\sum_{x \in S}xe^{tx}f(x)$

$\displaystyle M''(t)=\sum_{x \in S}x^2e^{tx}f(x)$

$\vdots$

$\displaystyle M^{(r)}(t)=\sum_{x \in S}x^re^{tx}f(x)$

이제 t=0 이라 놓으면

$\displaystyle M'(0)=\sum_{x \in S}xf(x)=E(X)$

$\displaystyle M''(0)=\sum_{x \in S}x^2f(x)=E(X^2)$

$\vdots$

$\displaystyle M^{(r)}(0)=\sum_{x \in S}x^rf(x)=E(X^r)$

이 성립한다. 특히 mgf가 존재한다면

$\mu=E(X)=M'(0)$

이고

$\sigma^2=E(X^2)-[E(X)]^2=M''(0)-[M'(0)]^2$

이 성립한다.