적률생성함수(Moment Generating Function, MGF)
23 Oct 2020 | Statistics
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
Moment Generating Function
이번에는 적률 생성 함수(Moment Generating Function)에 대해서 알아보겠습니다. 적률 생성 함수를 알아보기 전에 ‘적률’로 해석되는 모멘트(Moment)에 대해서 먼저 알아보도록 하겠습니다.
Moment
모멘트란 물리학에서도 사용되는 개념입니다. 물리학에서는 질량을 0차 모멘트로 나타내고, 질량 중심은 1차 모멘트를 사용하여 나타내며, 관성 모멘트를 나타낼 때에는 2차 모멘트를 사용합니다. 마찬가지로 통계학에서는 평균(Mean)을 나타낼 때 1차 모멘트를 사용하고, 분산(Variance)을 나타낼 때에는 2차 모멘트를 사용합니다. 왜도(Skewness)를 나타낼 때에는 3차 모멘트를 도입하여 사용하게 되며 마지막으로 첨도(Kurtosis)를 나타낼 때에는 4차 모멘트를 사용합니다. 각 차수의 모멘트를 결합하여 나타낼 수 있는 4개의 수치는 확률 밀도 함수(Probability Density Function, pdf)의 모양을 결정하는 역할을 합니다. 이에 대해서는 다음에 다시 살펴보겠습니다.
통계학에서 $k$차 모멘트를 수식으로 나타내면 $E(X^k)$ 가 됩니다.
Moment Generating Function
이제 적률 생성 함수에 대해서 알아보겠습니다. 적률 생성 함수 $M_X(t)$ 는 아래와 같이 정의됩니다.
\[\begin{aligned}
M_X(t) &= E\big[e^{tx}\big] \qquad \vert t \vert < h, h>0 \\
&= \int^\infty_{-\infty} e^{tx}\cdot f(x)dx
\end{aligned}\]
적률 생성 함수는 왜 이런 형태를 가지는 것일까요? 이를 이해하기 위해서는 테일러 급수 전개(Taylor Series Expansion)에 대해 알아볼 필요가 있겠습니다.
Taylor Series Expansion
테일러 급수 전개는 삼각함수나 지수(및 로그)함수와 같이 다항함수가 아닌 함수를 다항함수의 결합으로 근사하는 방식입니다. 임의의 함수 $f(x) \quad f:R^1 \rightarrow R^1$ 는 다음과 같이 근사할 수 있습니다.
\[\begin{aligned}
f(x) &= \frac{f(x_0)}{0!} + \frac{f^\prime(x_0)}{1!}(x-x_0) + \frac{f^{\prime\prime}(x_0)}{2!}(x-x_0)^2 + \cdots \\
&= \sum^\infty_{j=0} \frac{f^{(j)}(x_0)}{j!}(x-x_0)^j
\end{aligned}\]
그렇다면 지수함수 $f(x) = e^x$를 테일러 급수 전개로 나타내면 어떤 결과가 나오게 될까요?
\[e^x = \frac{e^{x_0}}{0!} + \frac{e^{x_0}}{1!}(x-x_0) + \frac{e^{x_0}}{2!}(x-x_0)^2 + \cdots\]
위와 같은 식에서 $x_0 = 0$ 이라면 식을 다음과 같이 나타내게 됩니다.
\[\begin{aligned}
e^x &= \frac{1}{0!} + \frac{1}{1!}\cdot x + \frac{1}{2!}\cdot x^2 + \cdots \\
&= \sum^\infty_{j=0} \frac{x^j}{j!}
\end{aligned}\]
이제 테일러 급수 전개를 알아보았으니 다시 적률생성함수의 식으로 돌아가 보겠습니다.
\[M_X(t) = E\big[e^{tx}\big]\]
이제 이 형태를 테일러급수 전개를 통해서 변환해보겠습니다.
\[\begin{aligned}
E\big[e^{tx}\big] &= E\big[1+tx+t^2x^2 + \cdots \big] \\
&= 1 + E[X] + \frac{t^2}{2}E[X^2] + \cdots
\end{aligned}\]
$k$차 모먼트, 즉 $E(X^k) = \mu_k$로 나타내면 다음과 같이 식을 변환할 수 있습니다.
\[\begin{aligned}
M_X(t) &= 1 + E[X] + \frac{t^2}{2}E[X^2] + \cdots \\
&= 1 + \mu_1t + \frac{\mu_2}{2}t^2 + \cdots
\end{aligned}\]
이렇게 변환할 수 있으므로 적률 생성 함수를 $k$ 번 미분한 값에 0을 대입하여 $k$차 모먼트를 구할 수 있습니다.
\[\begin{aligned}
M_X^\prime(0) &= \mu_1 \\
M_X^{\prime\prime}(0) &= \mu_2 \\
&\vdots\\
M_X^{(k)}(0) &= \mu_k
\end{aligned}\]
특성
위와 같이 적률 생성 함수는 위와 같이 모먼트를 쉽게 구할 수 있다는 장점이 있지만 모든 분포가 적률 생성 함수를 가지는 것은 아닙니다. 특정 확률 분포 함수는 적률 생성 함수를 생성했을 때 적분이 불가능한 경우가 있습니다. 이런 경우에는 적률 생성 함수를 구할 수 없습니다. 예를 들어, 확률 분포 함수 $f(x) = x^{-2} \quad I(x>1)$ 의 적률 생성 함수는 적분이 불가능하며 이 때는 적률 생성 함수가 존재하지 않습니다.
\[\begin{aligned}
M_X(t) &= \int^\infty_1 e^{tx}\cdot x^{-2}dx \\
&=\lim_{b\rightarrow\infty} \int^\infty_1 e^{tx}\cdot x^{-2}dx \\
&=\lim_{b\rightarrow\infty} \int^\infty_1 (1+tx + \frac{t^2x^2}{2}+ \frac{t^3x^3}{6}+ \cdots) x^{-2}dx \\
&=\lim_{b\rightarrow\infty} \int^\infty_1 (\frac{1}{x^2}+\frac{t}{x} + \frac{t^2}{2}+ \frac{t^3x}{6}+\cdots)dx \\
&\therefore \text{not integrable}
\end{aligned}\]
그리고 만약 두 랜덤 확률 변수의 적률 생성 함수가 존재하고 두 적률 생성 함수가 동일하다면 두 누적 확률 분포 또한 동일한 분포를 가집니다. 즉, 적률 생성 함수는 유일성(Uniqueness)를 가집니다.
\[M_X(t) = M_Y(t) \Leftrightarrow F_X(t) = F_Y(t)\]
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
Moment Generating Function
이번에는 적률 생성 함수(Moment Generating Function)에 대해서 알아보겠습니다. 적률 생성 함수를 알아보기 전에 ‘적률’로 해석되는 모멘트(Moment)에 대해서 먼저 알아보도록 하겠습니다.
Moment
모멘트란 물리학에서도 사용되는 개념입니다. 물리학에서는 질량을 0차 모멘트로 나타내고, 질량 중심은 1차 모멘트를 사용하여 나타내며, 관성 모멘트를 나타낼 때에는 2차 모멘트를 사용합니다. 마찬가지로 통계학에서는 평균(Mean)을 나타낼 때 1차 모멘트를 사용하고, 분산(Variance)을 나타낼 때에는 2차 모멘트를 사용합니다. 왜도(Skewness)를 나타낼 때에는 3차 모멘트를 도입하여 사용하게 되며 마지막으로 첨도(Kurtosis)를 나타낼 때에는 4차 모멘트를 사용합니다. 각 차수의 모멘트를 결합하여 나타낼 수 있는 4개의 수치는 확률 밀도 함수(Probability Density Function, pdf)의 모양을 결정하는 역할을 합니다. 이에 대해서는 다음에 다시 살펴보겠습니다.
통계학에서 $k$차 모멘트를 수식으로 나타내면 $E(X^k)$ 가 됩니다.
Moment Generating Function
이제 적률 생성 함수에 대해서 알아보겠습니다. 적률 생성 함수 $M_X(t)$ 는 아래와 같이 정의됩니다.
\[\begin{aligned} M_X(t) &= E\big[e^{tx}\big] \qquad \vert t \vert < h, h>0 \\ &= \int^\infty_{-\infty} e^{tx}\cdot f(x)dx \end{aligned}\]적률 생성 함수는 왜 이런 형태를 가지는 것일까요? 이를 이해하기 위해서는 테일러 급수 전개(Taylor Series Expansion)에 대해 알아볼 필요가 있겠습니다.
Taylor Series Expansion
테일러 급수 전개는 삼각함수나 지수(및 로그)함수와 같이 다항함수가 아닌 함수를 다항함수의 결합으로 근사하는 방식입니다. 임의의 함수 $f(x) \quad f:R^1 \rightarrow R^1$ 는 다음과 같이 근사할 수 있습니다.
\[\begin{aligned} f(x) &= \frac{f(x_0)}{0!} + \frac{f^\prime(x_0)}{1!}(x-x_0) + \frac{f^{\prime\prime}(x_0)}{2!}(x-x_0)^2 + \cdots \\ &= \sum^\infty_{j=0} \frac{f^{(j)}(x_0)}{j!}(x-x_0)^j \end{aligned}\]그렇다면 지수함수 $f(x) = e^x$를 테일러 급수 전개로 나타내면 어떤 결과가 나오게 될까요?
\[e^x = \frac{e^{x_0}}{0!} + \frac{e^{x_0}}{1!}(x-x_0) + \frac{e^{x_0}}{2!}(x-x_0)^2 + \cdots\]위와 같은 식에서 $x_0 = 0$ 이라면 식을 다음과 같이 나타내게 됩니다.
\[\begin{aligned} e^x &= \frac{1}{0!} + \frac{1}{1!}\cdot x + \frac{1}{2!}\cdot x^2 + \cdots \\ &= \sum^\infty_{j=0} \frac{x^j}{j!} \end{aligned}\]이제 테일러 급수 전개를 알아보았으니 다시 적률생성함수의 식으로 돌아가 보겠습니다.
\[M_X(t) = E\big[e^{tx}\big]\]이제 이 형태를 테일러급수 전개를 통해서 변환해보겠습니다.
\[\begin{aligned} E\big[e^{tx}\big] &= E\big[1+tx+t^2x^2 + \cdots \big] \\ &= 1 + E[X] + \frac{t^2}{2}E[X^2] + \cdots \end{aligned}\]$k$차 모먼트, 즉 $E(X^k) = \mu_k$로 나타내면 다음과 같이 식을 변환할 수 있습니다.
\[\begin{aligned} M_X(t) &= 1 + E[X] + \frac{t^2}{2}E[X^2] + \cdots \\ &= 1 + \mu_1t + \frac{\mu_2}{2}t^2 + \cdots \end{aligned}\]이렇게 변환할 수 있으므로 적률 생성 함수를 $k$ 번 미분한 값에 0을 대입하여 $k$차 모먼트를 구할 수 있습니다.
\[\begin{aligned} M_X^\prime(0) &= \mu_1 \\ M_X^{\prime\prime}(0) &= \mu_2 \\ &\vdots\\ M_X^{(k)}(0) &= \mu_k \end{aligned}\]특성
위와 같이 적률 생성 함수는 위와 같이 모먼트를 쉽게 구할 수 있다는 장점이 있지만 모든 분포가 적률 생성 함수를 가지는 것은 아닙니다. 특정 확률 분포 함수는 적률 생성 함수를 생성했을 때 적분이 불가능한 경우가 있습니다. 이런 경우에는 적률 생성 함수를 구할 수 없습니다. 예를 들어, 확률 분포 함수 $f(x) = x^{-2} \quad I(x>1)$ 의 적률 생성 함수는 적분이 불가능하며 이 때는 적률 생성 함수가 존재하지 않습니다.
\[\begin{aligned} M_X(t) &= \int^\infty_1 e^{tx}\cdot x^{-2}dx \\ &=\lim_{b\rightarrow\infty} \int^\infty_1 e^{tx}\cdot x^{-2}dx \\ &=\lim_{b\rightarrow\infty} \int^\infty_1 (1+tx + \frac{t^2x^2}{2}+ \frac{t^3x^3}{6}+ \cdots) x^{-2}dx \\ &=\lim_{b\rightarrow\infty} \int^\infty_1 (\frac{1}{x^2}+\frac{t}{x} + \frac{t^2}{2}+ \frac{t^3x}{6}+\cdots)dx \\ &\therefore \text{not integrable} \end{aligned}\]그리고 만약 두 랜덤 확률 변수의 적률 생성 함수가 존재하고 두 적률 생성 함수가 동일하다면 두 누적 확률 분포 또한 동일한 분포를 가집니다. 즉, 적률 생성 함수는 유일성(Uniqueness)를 가집니다.
\[M_X(t) = M_Y(t) \Leftrightarrow F_X(t) = F_Y(t)\]
Comments