감마 분포(Gamma Distribution)와 카이제곱 분포(Chi-squared Distribution)
03 Dec 2020 | Statistics
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
Gamma & Chi-squared Distribution
이번에는 연속 확률 변수의 특수한 분포인 감마 분포(Gamma distribution)에 대해서 알아보겠습니다.
Gamma Function
감마 분포에 대해서 알아보기 전에 감마 함수(Gamma function)에 대해서 짚고 넘어가도록 하겠습니다. 감마 함수 $\Gamma(x)$ 란 아래와 같은 형태의 함수를 나타냅니다.
\[\Gamma(\alpha) = \int_0^\infty y^{\alpha-1}e^{-y}dy, \qquad \alpha >0\]
Property
감마 함수는 특정한 성질을 가지고 있습니다. 그 중 하나는 아래와 같습니다.
\[\text{if} \quad \alpha>1, \Gamma(\alpha) = (\alpha-1)\Gamma(\alpha-1)\]
아래와 같이 감마 함수를 부분 적분하여 위 성질을 증명할 수 있습니다. 식은 다음과 같습니다.
\[\begin{align}
\Gamma(\alpha) &= \int_0^\infty y^{\alpha-1}e^{-y}dy \\
&= \bigg[y^{\alpha-1}\cdot (-e^{-y})\bigg]^\infty_0 - \int_0^\infty (\alpha-1)\cdot y^{\alpha-2} \cdot (-e^{-y})dy \\
&= (\alpha-1)\cdot \int_0^\infty y^{\alpha-2} \cdot e^{-y}dy \\
&= (\alpha-1)\Gamma(\alpha-1)
\end{align}\]
위 성질을 활용하면 특정한 경우에 대해서 감마 함수의 값을 구할 수 있습니다. $\alpha$ 가 양의 정수일 때에는 위 성질을 사용하면 아래와 같이 값을 확정할 수 있습니다.
\[\Gamma(\alpha) = (\alpha-1)!\]
그리고 감마 함수는 $\alpha = 1/2$ 일 때 특정한 값 $\Gamma(\frac{1}{2}) = \sqrt{\pi}$ 을 가집니다. 어떻게 이 값을 가지는지 알아보겠습니다.
\[\Gamma(\frac{1}{2}) = \int_0^\infty y^{-1/2}e^{-y}dy\]
위 식에서 $y = x^2/2$ 로 치환합니다. $\int_0^\infty e^{-x^2/2}dx = \sqrt{\pi/2}$ 를 증명하는 과정은 이곳 을 참고하면 좋습니다. 나중에 비슷한 과정을 정규 분포에서 다시 보도록 하겠습니다.
\[\begin{align}
\Gamma(\frac{1}{2}) &= \int_0^\infty \frac{\sqrt{2}}{x} \cdot e^{-x^2/2} \cdot x dx \\
&= \sqrt{2} \int_0^\infty e^{-x^2/2}dx \\
&= \sqrt{2} \cdot \sqrt{\frac{\pi}{2}} = \sqrt{\pi}
\end{align}\]
이 성질을 활용하면 $\alpha = 1/2$ 뿐만 아니라 $\alpha = n + 1/2$ 일 때의 감마 함수의 값을 모두 구할 수 있습니다.
Gamma Distribution
이제 감마 분포를 알아보도록 하겠습니다. 확률 변수 $X$ 에 대한 감마 분포의 확률 밀도 함수는 $\alpha, \beta > 0$ 인 파라미터에 대하여 다음과 같고 $X \sim \Gamma(\alpha, \beta)$ 로 나타냅니다.
\[f_X(x) = \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha) \beta^\alpha}\]
감마 함수로부터 위 함수의 적분값이 1임을 알 수 있습니다. 감마 함수에서 $y = x/\beta$ 로 치환하면 아래와 같이 식을 변형할 수 있습니다.
\[\begin{align}
\Gamma(\alpha) &= \int_0^\infty y^{\alpha-1}e^{-y}dy \\
&= \int_0^\infty (x/\beta)^{\alpha-1}e^{-x/\beta}\cdot \frac{1}{\beta}dx \\
&= \int_0^\infty (x/\beta)^{\alpha-1}e^{-x/\beta}\cdot \frac{1}{\beta}dx \\
&= \int_0^\infty \frac{x^{\alpha-1}e^{-x/\beta}}{\beta^\alpha}dx \\
\therefore 1 &= \int_0^\infty \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha) \beta^\alpha}dx
\end{align}\]
감마 함수의 적률 생성 함수를 알아보겠습니다. 식을 변형하는 과정이 꽤 복잡하지만 감마 분포의 형태를 다시 만들기 위함이라고 생각하면 될 것 같습니다.
\[\begin{align}
M_X(t) &= \int_0^\infty e^{tx} \cdot \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha)\beta^\alpha} dx \\
&= \int_0^\infty \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha} dx \\
&= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha(1-\beta t)^{-\alpha}} dx \\
&= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha(1-\beta t)^{-\alpha}} dx \\
&= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x/({\frac{\beta}{1-\beta t}})]}{\Gamma(\alpha)\big(\frac{\beta}{1-\beta t}\big)^\alpha} dx \\
&= (1-\beta t)^{-\alpha} \int_0^\infty \frac{x^{\alpha-1} \exp[-x/({\frac{\beta}{1-\beta t}})]}{\Gamma(\alpha)\big(\frac{\beta}{1-\beta t}\big)^\alpha} dx \\
&= (1-\beta t)^{-\alpha} \int_0^\infty\Gamma(\alpha, \frac{\beta}{1-\beta t}) dx \\
&= (1-\beta t)^{-\alpha}
\end{align}\]
적률 생성 함수를 사용하여 감마 분포의 평균과 분산을 구할 수 있습니다.
\[\begin{align}
M_X^\prime(0) &= \alpha\beta = E(X) \\
M_X^{\prime\prime}(0) &= \alpha(\alpha+1)\beta^2 = E(X^2) \\
Var(X) &= E(X^2) - E(X)^2 = \alpha(\alpha+1)\beta^2 - (\alpha\beta)^2 = \alpha\beta^2
\end{align}\]
Chi-squared Distribution
카이 제곱 분포(Chi-squared distribution, $\chi^2-$distribution)는 감마 분포의 특수한 형태입니다. 감마 분포에서 $\alpha = r/2, \beta = 2$ 인 분포, 즉 $\Gamma(r/2,2)$ 를 카이 제곱 분포라고 합니다. 카이 제곱 분포의 식은 아래와 같으며 $\beta$ 가 고정되었기 때문에 파라미터가 1개로 고정됩니다. 자유도가 $r$ 인 카이 제곱 분포이며 $X \sim \chi^2(r)$ 로 나타냅니다.
\[f_X(x) = \frac{x^{(r/2-1)}e^{-x/2}}{\Gamma(\frac{r}{2}) \cdot 2^{r/2}}\]
카이 제곱 분포의 적률 생성 함수와 평균, 분산 역시 감마 분포의 적률 생성 함수 및 평균, 분산에 특정 조건에 해당하는 값을 넣어주면 쉽게 구할 수 있습니다.
\[\begin{align}
M_X(t) &= (1-2t)^{-r/2} \\
E(X) &= \frac{r}{2} \cdot 2 = r \\
Var(X) &= \frac{r}{2} \cdot 2^2 = 2r
\end{align}\]
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
Gamma & Chi-squared Distribution
이번에는 연속 확률 변수의 특수한 분포인 감마 분포(Gamma distribution)에 대해서 알아보겠습니다.
Gamma Function
감마 분포에 대해서 알아보기 전에 감마 함수(Gamma function)에 대해서 짚고 넘어가도록 하겠습니다. 감마 함수 $\Gamma(x)$ 란 아래와 같은 형태의 함수를 나타냅니다.
\[\Gamma(\alpha) = \int_0^\infty y^{\alpha-1}e^{-y}dy, \qquad \alpha >0\]Property
감마 함수는 특정한 성질을 가지고 있습니다. 그 중 하나는 아래와 같습니다.
\[\text{if} \quad \alpha>1, \Gamma(\alpha) = (\alpha-1)\Gamma(\alpha-1)\]아래와 같이 감마 함수를 부분 적분하여 위 성질을 증명할 수 있습니다. 식은 다음과 같습니다.
\[\begin{align} \Gamma(\alpha) &= \int_0^\infty y^{\alpha-1}e^{-y}dy \\ &= \bigg[y^{\alpha-1}\cdot (-e^{-y})\bigg]^\infty_0 - \int_0^\infty (\alpha-1)\cdot y^{\alpha-2} \cdot (-e^{-y})dy \\ &= (\alpha-1)\cdot \int_0^\infty y^{\alpha-2} \cdot e^{-y}dy \\ &= (\alpha-1)\Gamma(\alpha-1) \end{align}\]위 성질을 활용하면 특정한 경우에 대해서 감마 함수의 값을 구할 수 있습니다. $\alpha$ 가 양의 정수일 때에는 위 성질을 사용하면 아래와 같이 값을 확정할 수 있습니다.
\[\Gamma(\alpha) = (\alpha-1)!\]그리고 감마 함수는 $\alpha = 1/2$ 일 때 특정한 값 $\Gamma(\frac{1}{2}) = \sqrt{\pi}$ 을 가집니다. 어떻게 이 값을 가지는지 알아보겠습니다.
\[\Gamma(\frac{1}{2}) = \int_0^\infty y^{-1/2}e^{-y}dy\]위 식에서 $y = x^2/2$ 로 치환합니다. $\int_0^\infty e^{-x^2/2}dx = \sqrt{\pi/2}$ 를 증명하는 과정은 이곳 을 참고하면 좋습니다. 나중에 비슷한 과정을 정규 분포에서 다시 보도록 하겠습니다.
\[\begin{align} \Gamma(\frac{1}{2}) &= \int_0^\infty \frac{\sqrt{2}}{x} \cdot e^{-x^2/2} \cdot x dx \\ &= \sqrt{2} \int_0^\infty e^{-x^2/2}dx \\ &= \sqrt{2} \cdot \sqrt{\frac{\pi}{2}} = \sqrt{\pi} \end{align}\]이 성질을 활용하면 $\alpha = 1/2$ 뿐만 아니라 $\alpha = n + 1/2$ 일 때의 감마 함수의 값을 모두 구할 수 있습니다.
Gamma Distribution
이제 감마 분포를 알아보도록 하겠습니다. 확률 변수 $X$ 에 대한 감마 분포의 확률 밀도 함수는 $\alpha, \beta > 0$ 인 파라미터에 대하여 다음과 같고 $X \sim \Gamma(\alpha, \beta)$ 로 나타냅니다.
\[f_X(x) = \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha) \beta^\alpha}\]감마 함수로부터 위 함수의 적분값이 1임을 알 수 있습니다. 감마 함수에서 $y = x/\beta$ 로 치환하면 아래와 같이 식을 변형할 수 있습니다.
\[\begin{align} \Gamma(\alpha) &= \int_0^\infty y^{\alpha-1}e^{-y}dy \\ &= \int_0^\infty (x/\beta)^{\alpha-1}e^{-x/\beta}\cdot \frac{1}{\beta}dx \\ &= \int_0^\infty (x/\beta)^{\alpha-1}e^{-x/\beta}\cdot \frac{1}{\beta}dx \\ &= \int_0^\infty \frac{x^{\alpha-1}e^{-x/\beta}}{\beta^\alpha}dx \\ \therefore 1 &= \int_0^\infty \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha) \beta^\alpha}dx \end{align}\]감마 함수의 적률 생성 함수를 알아보겠습니다. 식을 변형하는 과정이 꽤 복잡하지만 감마 분포의 형태를 다시 만들기 위함이라고 생각하면 될 것 같습니다.
\[\begin{align} M_X(t) &= \int_0^\infty e^{tx} \cdot \frac{x^{\alpha-1} e^{-x/\beta}}{\Gamma(\alpha)\beta^\alpha} dx \\ &= \int_0^\infty \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha} dx \\ &= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha(1-\beta t)^{-\alpha}} dx \\ &= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x({\frac{1}{\beta}-t})]}{\Gamma(\alpha)\beta^\alpha(1-\beta t)^{-\alpha}} dx \\ &= \int_0^\infty (1-\beta t)^{-\alpha} \cdot \frac{x^{\alpha-1} \exp[-x/({\frac{\beta}{1-\beta t}})]}{\Gamma(\alpha)\big(\frac{\beta}{1-\beta t}\big)^\alpha} dx \\ &= (1-\beta t)^{-\alpha} \int_0^\infty \frac{x^{\alpha-1} \exp[-x/({\frac{\beta}{1-\beta t}})]}{\Gamma(\alpha)\big(\frac{\beta}{1-\beta t}\big)^\alpha} dx \\ &= (1-\beta t)^{-\alpha} \int_0^\infty\Gamma(\alpha, \frac{\beta}{1-\beta t}) dx \\ &= (1-\beta t)^{-\alpha} \end{align}\]적률 생성 함수를 사용하여 감마 분포의 평균과 분산을 구할 수 있습니다.
\[\begin{align} M_X^\prime(0) &= \alpha\beta = E(X) \\ M_X^{\prime\prime}(0) &= \alpha(\alpha+1)\beta^2 = E(X^2) \\ Var(X) &= E(X^2) - E(X)^2 = \alpha(\alpha+1)\beta^2 - (\alpha\beta)^2 = \alpha\beta^2 \end{align}\]Chi-squared Distribution
카이 제곱 분포(Chi-squared distribution, $\chi^2-$distribution)는 감마 분포의 특수한 형태입니다. 감마 분포에서 $\alpha = r/2, \beta = 2$ 인 분포, 즉 $\Gamma(r/2,2)$ 를 카이 제곱 분포라고 합니다. 카이 제곱 분포의 식은 아래와 같으며 $\beta$ 가 고정되었기 때문에 파라미터가 1개로 고정됩니다. 자유도가 $r$ 인 카이 제곱 분포이며 $X \sim \chi^2(r)$ 로 나타냅니다.
\[f_X(x) = \frac{x^{(r/2-1)}e^{-x/2}}{\Gamma(\frac{r}{2}) \cdot 2^{r/2}}\]카이 제곱 분포의 적률 생성 함수와 평균, 분산 역시 감마 분포의 적률 생성 함수 및 평균, 분산에 특정 조건에 해당하는 값을 넣어주면 쉽게 구할 수 있습니다.
\[\begin{align} M_X(t) &= (1-2t)^{-r/2} \\ E(X) &= \frac{r}{2} \cdot 2 = r \\ Var(X) &= \frac{r}{2} \cdot 2^2 = 2r \end{align}\]
Comments