codingfarm

$\bullet$ 평균 $\lambda$를 갖는 (근사)포아송과정에서 첫발생이 일어날때까지의 시간/간격은 지수분포를 가진다. $\bullet$ $\alpha$개의 발생이 일어날때까지 시간/공간을 $w$라 할때 확률변수 $w$는 감마분포를 따른다. 감마분포의 $pdf$, $cdf$, 특성값 $$f(w)=\dfrac{\lambda(\lambda w)^{\alpha-1}}{(\alpha-1)!}e^{-\lambda w}$$ $$F(w)=1-\sum_{k=0}^{\alpha-1}\dfrac{(\lambda w)^ke^{-\lambda w}}{k!}$$ 시간을 $x$로 치환하고 감마함수로 표현하면 $$f(x)=\dfrac{1}{\Gamma(\alpha) \theta^\alpha}x^{\alpha-1}e^{-x/\..

지수 분포(Exponential Distributions) 이산형 확률변수의 포아송분포와 관련된 연속형 분포에 대해 알아보겠다. 주어진 구간에서 발생건수는 포아송분포를 갖는 이산형 확률변수이다. 여기서 연속되는 발생 사이의 대기시간은 연속형의 확률변수이다. 확률변수 $X$가 지수분포(exponential distribution)을 가질경우 확률변수 $X$는 사건이 처음 발생하는 시간,공간이 되며, $\theta$는 다음 사건이 발생하는 시간적, 공간적 평균길이 일때 $X$의 $pdf$는 모수 $\theta > 0$에 대해 $$f(x)=\dfrac{1}{\theta}e^{-x/\theta},\;\;\;\;0\leq x < \infty$$ 지수분포의 평균과 분산은 $$\begin{align*} \mu&=\t..

연속형 확률분포(Continuous Distribution)-연속형 확률변수(Continuous Random Variables of The Continuous Type ) 구간 혹은 구간들의 합인 공간 $S$를 가지는 연속형 확률변수 $X$의 $pdf$는 다음의 조건을 만족하는 적분 가능한함수 $f(x)$이다. (a) $f(x)>0,\;\;\;\;x \in S$ (b) $\int_S f(x) dx=1$ (c) $(a,b) \subseteq S$ 이라면 사상$\{a

앞절에서는 이산시간 LTI 시스템의 컨볼루션 합에 대해 다루었다. 이번절에서는 연속시간 LTI 시스템의 컨볼루션 적분에 대해 알아보겠다. 2-1. 임펄스를 이용한 연속시간 신호의 표현 (The Representation of Continuous-Time Signals In Terms of Impulses) 연속시간 임펄트 함수의 일차결합을 통해 임의의 함수를 표현할 수 있다. $$x(t)=\int_{-\infty}^{+\infty}x(\tau)\delta(t-\tau)d\tau$$ 위 식을 연속시간 임펄스의 선별특성(sifting property) 이라 한다. 이산시간 단위 임펄스의 이동특성(sifting property)을 아래와같이 수식으로 표현 가능함을 알고 있다. $$x[n]=\sum_{k=-\i..

1-1. 임펄스 항을 이용한 이산시간 신호의 표현 (The Representation of Discrete-Time Signals in Terms of Impulses) 단위 임펄스 함수를 이용하면 임의의 이산시간 신호를 각 임펄스들의 순차열로 표현 가능하다. $$x[n]=\sum_{k=-\infty}^{\infty}x[k]\delta[n-k]$$ 이 식은 이산시간 단위 임펄스의 이동 특성(shifting property)이라 불린다. 이는 가중치를 $x[k]$로 둔 이동된 단위 임펄스 $\delta[n-k]$의 선형조합이다. 임의의 신호 $x[n]$은 시간이동된 임펄스들의 중첩을 통해서 얻은 신호이기에 선형성과 시불변성을 만족해야한다.(확인바람) 예) 단위 계단 $$u[n]=\sum_{k=-\infty..

선형성과 시불변성은 두가지 중요한 이유 때문에 신호와 시스템 분석에서 기본적인 역할을 수행한다. 1. 많은 물리적인 과정들이 선형성과 시불변성의 특징들을 지니고 있기 때문에 선형 시불변(LTI) 시스템으로 모델링될 수 있다. 2. LTI시스템은 상당히 자세히 분석될 수 있어서, 그 시스템 특성들과 신호와 시스템 분석의 핵심을 형성하는 강력한 도구들의 집합을 자세히 볼 수 있게 해준다. LTI 시스템이 분석하기에 좋은 이유 중첩의 특성을 지니기 때문이다. LIT에 대한 입력을 기본적인 신호들 집합의 선형적인 합성의 항으로 표현할 수 있다면, 출력의 계산을 위해선 기본적인 신호들에 대한 응답의 항으로 중첩을 사용할 수 있다. $$ax_1(t)+bx_2(t) \rightarrow ay_1(t)+by_2(t)$..

행렬분해(matrix factorization) 하나의 행렬을 여러개의 행렬의 곱으로 표현하는것 ex) $$\begin{bmatrix} 3&-1\\9&-5 \end{bmatrix}= \begin{bmatrix} 1 & 0 \\ 3& 1 \end{bmatrix} \begin{bmatrix} 3&-1\\0&-2 \end{bmatrix}$$ $LU$ 분해($LU$ factorization) $A$가 정사각행렬이라고 하자. $L$은 단위하삼각행렬이고 $U$는 상삼각행렬인 분해 $A=LU$를 $A$의 $\bf LU$분해(LU factorization)라고 한다. $L$은 대각성분이 1이고 위의 모든 성분이 0인 아래와 같은 형태의 행렬이다. $$L=\begin{bmatrix} 1&0&\cdots&0\\ *&1&\..

모수(population parameter) 모집단의 특성을 나타내는 수치이다. 포아송 분포에서 모수의 예는 9시에서 10시 사이에 교환대에 울리는 발신음의 수, 100feet 길이의 전선줄에 앉아있는 새의 수, 정오 12시에서 오후 2시까지 매표소에 도착하는 고객의 수, 어떤책의 한페이지에 나타난 오타의 수 등이 있다. 즉, 포아송 분포에서의 모수는 '단위시간 또는 단위공간에서 평균 발생 횟수' 이다. 포아송분포에서 모수는 수학기호 $\lambda$로 표시한다. 포아송분포(Poisson Distribution) 포아송분포는 단위시간, 단위공간 안에 어떤사건이 발생하는 평균 횟수 $\lambda$가 주어질 경우 사건이 발생하는 횟수를 확률변수 $x$로 두었을때의 이산 확률 분포이다. 주어진 연속구간에서 ..

음이항분포는 베르누이 시행을 미리정한 성공횟수 $r$회가 될때까지 반복 시행할때 확률변수 $X$가 나타내는 분포를 말한다. $pmf$는 아래와 같다. $$g(x)={}_{x-1}C_{r-1}p^{r}(1-p)^{x-r}=_{x-1}C_{r-1}p^{r}q^{x-r},\;\;\;x=r,r+1\cdots$$ 음이항분포는 $n$번의 시행(여러번의 베르누이 독립시행)에서 $n-1$번의 실패에 대한 확률을 구하는 것이다. 베르누이 시행을 독립으로 반복하는 확률실험에서 $X$를 $r$회 성공하는데 필요한 시행 횟수라 하면, 확률의 곱셈법칙에 의해 $X$의 $pmf$ $g(x)$는 $x-1$번째의 시행까지에서 정확하게 $r-1$회 성공할 확률 $${}_{x-1}C_{r-1}p^{r-1}(1-p)^{x-r}=_{x-1..

지금까지 훈련집합 $X$로부터 확률분포를 추정하는 여러가지 방법을 공부하였다. 이 절에서는 앞에서 공부한 방법에 비해 색다르게 확률 분포 추정 방법을 다룬다. 그림에서 보이듯이 혼합모델에서는 두개 이상의 서로 다른 확률 분포의 혼합으로 $X$를 모델링 한다. 가우시언 혼합(Gaussian Mixture) 가우시언이 여러개 혼합된 형태로 샘플이 주어질때 확률분포를 추정하는 방법이다. 주어진 값 $X=\{\mathscr x_1, \mathscr x_2 \cdots \mathscr x_N\}$ 추정할 값 $\Theta=\{\pi=(\pi_1,\cdots,\pi_K),(\mu_1,\Sigma_1),\cdots,(\mu_k,\Sigma_k)\}$ 즉, 샘플입력 $X$가 주어지면 몇개($k$)의 가우시언으로 샘플입..

$\circ$ 최근접 이웃 추정과 유사하다. $\circ$ 훈련집합 $X=\{(\mathscr x_1,t_1),\cdots,(\mathscr x_N,t_N)\}$이 주어져 있다. 훈련샘플중에 $w_i$에 속하는것의 개수를 $N_i$라 한다. 미지의 샘플 $X$를 분류하는 문제가 주어젔을때 $X$를 중심을 창을 씌우고 훈련샘플중 $k$개가 들어올때까지 창의 크기를 확장해 나간다. $k$개가 들어온 순간 창의 크기가 $h_{\mathscr x}$ 이면 창의 부피는 $h_{\mathscr x}^{d}$가 된다. 창안에 들어온 샘플중 $w_i$에 속하는 것의 갯수를 $k_i$라 한다. $k$ : 창안에 들어와야 할 샘플의 수 $h_{\mathscr x}$ : $k$개가 들어온 순간 창의 크기 $h_{\maths..

$\circ$ 파젠창은 고정된 크기의 창의 중심 $\mathscr x$를 어디에 두느냐에 따라 창안의 샘플수가 달라진다. $\circ$ k-최근접 이웃법은 $\mathscr x$를 중심으로 샘플이 k개 들어올때 까지 창의 크기를 확장해나간다. $k$개가 들어온순간 창의 크기를 $h$라 한다. 파젠창 k-최근접 이웃추정 $h$고정, $k$가 $\mathscr x$에 따라 변화 $k$ 고정, $h$가 $\mathscr x$에 따라 변화 큰 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 희소하게 분포함을 뜻하므로 확률이 낮아야 하고 작은 $h$값을 가지는 $\mathscr x$ 주위에는 샘플이 빽빽하게 분포함을 뜻하므로 확률이 높아진다. 이 원리를 바탕으로 아래식을 활용하여 확률 분포의 추정이 가능..

$\circ$ 최대 우도 추정법에서 나온 ML과 MAP는 모수적(parametric) 방법이다. $\circ$ 모수적 방법은 매개변수 $\Theta$ (모수)로 표현할 수 있는 특정한 종류의 확률분포에만 사용가능하다는 한계를 지녔다. 현실에서는 특정한 확률 분포를 안따르는 경우가 매우 많음. $\circ$ 이 절에서는 확률 분포 추정을 위한 비모수적방법(nonparametric)으로 파젠창과 최근접이웃을 소개한다. $\circ$ k-NN 분리기는 확률분포 추정을 위한 방법이 아니라 분류를 위한 방법이다. 하지만 동작 원리 측면에서는 최근접 이웃과 유사하다. 파젠 창(Parzen window) $\circ$ 임의의 확률 분포에 적용 가능하다. 그림 3.6 (a)에서 임의의 점 $x$에서 확률값을 추정하고 ..

범위를 만들어 구간별로 그 안의 샘플 수를 셀 수 있도록 하는것이다. 하나의 구간은 빈(bin)이라 부른다. 히스토그램을 확률분포로 쓰기 위해서는 각 빈의 값을 $N$으로 나누어 정규화(normalized)해주면 된다. 표현과 연산이 단순하면서 직관적이지만 상황에 따라 그 쓰임새가 제한적이다. 이 방법은 유한한 개수의 구간에 대해 확률을 구하므로 이산확률 분포를 만들어 준다. 최대 우도 추정은 연속 확률 분포, 즉 확률 밀도 함수(pdf)를 추정하는 방법이다. 히스토그램 추정의 한계 -현실적으로 쓰기 위해서는 확률분포가 정의되는 공간의 차원이 낮고 $X$의 크기가 충분히 커야 한다. -특징 벡터가 $d$ 차원이라하고 각 차원을 $s$개의 구간으로 나눈다면 총 $s^d$개의 밴이 생긴다. 따라서 빈의 개수..

해당 블로그글들을 많이 참고하였다. https://medium.com/mighty-data-science-bootcamp/%EC%B5%9C%EB%8C%80-%EC%9A%B0%EB%8F%84-%EC%B6%94%EC%A0%95-maximum-likelihood-estimation-mle-5c3a80d6b25a https://ratsgo.github.io/statistics/2017/09/23/MLE/ 최대 우도 추정(ML estimation) ML 방법 샘플집합 $X$가 주어질때 $X$를 발생시켰을 확률이 가장 높은 $\Theta$를 찾기 위해 $L(\Theta|X)$를 최대로 하는 $\Theta$를 찾는 방법이다. 베이즈 원리에 의해 $L(\Theta|X)$는 $P(X|\Theta)$에 비례하므로 $$\h..

2장 내용 정리 $\circ$ 관찰된 샘플에서 특징벡터 $X$를 추출한다. $\circ $ $X$는 제일 그럴듯한 부류로 분류되어야 하며, 분류기준은 사후확률 $P(w_i|X)$(posterior probability)로 정의한다. 즉, 사후확률이 제일 큰 부류로 인식하면 된다. $\displaystyle \underset{i}{argmax}\;P(w_i|X)$ $\circ$ 하지만 $P(w_i|X)$는 추정이 거의 불가능하다. 따라서 베이스정리를 이용해 사후확률을 사전확률(prior probability) $p(W_i)$와 우도(likehood) $P(X|w_i)$의 곱으로 대치해서 계산한다. $\circ$ 2장에서 사전학률과 우도를 미리 알고있다 가정하고 베이시언 분류기를 만들었으나, 3장에서는 이득..

애니메이션 관리를 효율적으로 하기위한 사실상 기초적인 뷰 셋팅 i키를 눌러 insert keyframe menu를 연다. properties 창의 scene 카테고리에서 애니메이션의 프레임을 조절 할 수 있다.

https://www.statisticshowto.com/tables/binomial-distribution-table/#100