다변량 분포(Multi-Variable Distribution)와 변환(Transformation)
16 Nov 2020 | Statistics
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
multi-Variable Distribution
이번 시간에는 확률 변수가 2개 이상인 다변량 분포에 대해 알아보도록 하겠습니다. 다변량 분포는 앞서 말한 것과 같이 확률 변수가 2개 이상인 경우의 확률 분포를 가리킵니다. 하지만 확률 변수가 3개만 되더라도 아래에 등장하는 정리들에 대해 계산이 매우 복잡해지므로 이번 게시물에서는 확률 변수가 2개인 이변수(bi-Variable) 확률 분포에 대해서만 다루도록 하겠습니다.
bi-Variable Distribution
지금부터는 확률 변수가 하나가 아닌 2개 이상인 분포를 알아보겠습니다. 2개의 확률 변수는 $X_1, X_2$로 나타내겠습니다. 이 때의 확률 분포 함수는 아래와 같이 나타낼 수 있습니다.
[f_{X_1,X_2}(x_1,x_2)]
확률 분포 함수의 누적 분포 함수는 다음과 같이 나타낼 수 있습니다.
[F_{X_1,X_2}(x_1,x_2) = P(X_1 \leq x_1, X_2 \leq x_2)]
$X_1$ 와 $X_2$ 가 이산 확률 변수일 때, 결합 확률 질량 함수(Joint p.m.f.)는 아래와 같이 나타낼 수 있습니다.
[P_{X_1,X_2}(x_1,x_2) = P(X_1 = x_1, X_2 = x_2)]
반대로 $X_1$ 와 $X_2$ 가 연속 확률 변수라면, 결합 확률 밀도 함수(Joint p.d.f.)는 아래와 같이 나타낼 수 있습니다.
Transformation of multi r.v.s
Discrete Random Variable
$X_1, X_2$ 가 이산 확률 변수일 때 확률 변수를 $Y_1, Y_2$ 로 치환하기 위해서는 몇 가지 가정이 필요합니다. 먼저, 변환 이전의 확률 변수와 변환 이후의 확률 변수가 일대일 대응을 만족해야 합니다. 각각의 확률 변수가 일대일 대응을 만족한다면 임의의 일대일 대응인 함수 $u_1, u_2$ 에 대하여 아래와 같이 나타낼 수 있습니다.
[\begin{cases} y_1 = u_1(x_1,x_2) \ y_2 = u_2(x_1,x_2) \end{cases}]
일대일 대응 조건에 의하여 역함수가 존재하므로 $u$ 의 역함수인 $w$ 를 사용하여 아래와 같이 나타낼 수 있습니다.
[\begin{cases} x_1 = w_1(y_1,y_2) \ x_2 = w_2(y_1,y_2) \end{cases}]
따라서 변환된 확률변수 $Y_1, Y_2$에 대한 결합 확률 질량 함수는 아래와 같이 나타낼 수 있습니다.
[P_{Y_1,Y_2}(y_1,y_2) = P_{X_1,X_2}(w_1(y_1,y_2), w_2(y_1,y_2))]
이를 구하면 아래와 같이 확률 변수 하나에 대한 확률 질량 함수를 구할 수 있게 됩니다.
[P_{Y_1}(y_1) = \sum_{y_2} P_{Y_1,Y_2}(y_1,y_2)]
예를 들어, 아래와 같은 확률 질량 함수가 있다고 해보겠습니다.
[P_{X_1,X_2}(x_1,x_2) = \frac{\mu_1^{x_1} \cdot \mu_2^{x_2} \cdot e^{-(\mu_1+\mu_2)}}{x_1! \cdot x_2!} \qquad x_1,x_2 : 0,1,2, \cdots]
이 확률 질량 함수로부터 $Y_1 = X_1 + X_2$ 를 만족하는 새로운 확률 변수 $Y_1$ 의 확률 질량 함수를 구해보겠습니다. $y_1 = x_1+x_2$ 이며 $y_2 = x_2$ 이면 각각의 함수는 일대일 대응이므로 역함수를 사용하면 $x_1 = y_1-y_2, x_2 = y_2$ 로 나타낼 수 있습니다. 이를 사용하면 확률 변수 $Y_1,Y_2$ 의 결합 확률 질량 함수는 아래와 같이 구해집니다.
[P_{Y_1,Y_2}(y_1,y_2) = \frac{\mu_1^{y_1-y_2} \cdot \mu_2^{y_2} \cdot e^{-(\mu_1+\mu_2)}}{(y_1-y_2)! \cdot y_2!} \qquad \begin{cases} y_1: 0,1,2, \cdots \ y_2 : 0,1,2, \cdots,y_1 \end{cases}]
이로부터 확률 변수 $Y_1$ 의 확률 질량 함수를 구하면 아래와 같이 나타나며 식을 변환하여 간단하게 만들 수 있습니다.
[\begin{align}
P_{Y_1}(y_1) &= \sum_{y_2} P_{Y_1,Y_2}(y_1,y_2)
&= \sum_{t=0}^s \frac{\mu_1^{y_1-y_2} \cdot \mu_2^{y_2} \cdot e^{-(\mu_1+\mu_2)}}{(y_1-y_2)! \cdot y_2!}
&= \frac{e^{-(\mu_1+\mu_2)}}{y_1!} \sum_{t=0}^s \frac{y_1!}{(y_1-y_2)! \cdot y_2!} \cdot \mu_1^{y_1-y_2} \cdot \mu_2^{y_2}
&= \frac{e^{-(\mu_1+\mu_2)}}{y_1!} \cdot (\mu_1 + \mu_2)^{y_1}
& \because \text{Binomial Distribution}
\end{align}]
Continuous Random Variable
다음으로 연속 확률 변수에 대한 변환을 알아보도록 하겠습니다. 확률 변수 1개일 때와 동일하게 연속 확률 변수의 변환에는 2개의 방법이 존재합니다. 첫 번째는 누적 확률 분포 함수(c.d.f.)를 활용한 방법이고 두 번째는 변환(Transformation)을 이용한 방법입니다.
c.d.f. Technique
먼저 첫 번째 방법인 누적 확률 분포 함수를 활용하는 방법에 대해 알아보겠습니다. 이 방법은 변환된 확률 변수인 $Y_1$ 혹은 $Y_2$ 의 누적 확률 분포를 알 수 있을 경우에 사용합니다. 확률 변수 $S$ 에 대한 누적 확률 분포가 아래와 같이 알려져 있다고 해보겠습니다.
[F_{Y_1}(y_1) = P(w(X_1, X_2) \leq y_1)]
이 때의 확률 밀도 함수는 아래와 같이 나타낼 수 있습니다.
[f_{Y_1}(y_1) = \frac{\partial F_{Y_1}(y_1)}{\partial y_1}]
예를 들어, 아래와 같은 결합 확률 분포 함수가 있다고 해보겠습니다.
[f_{X_1,X_2}(x_1,x_2) = I(0<x_1<1, 0<x_2<1)]
누적 확률 분포 함수를 활용한 방법을 사용하여 원래 확률 변수들의 결합 확률 분포 함수로부터 확률변수 $S = X + Y$ 의 확률 분포 함수를 구해보겠습니다. 먼저 우리가 알고자하는 확률 변수 $S$ 의 누적 확률 분포는 아래와 같이 나타낼 수 있습니다.
[F_{X_1}(x_1) = P(x_1+x_2 \leq y_1)]
위 식을 만족하는 범위에서 $x_2 \leq y_1 - x_1$ 이므로 그래프로 나타내면 다음과 같습니다.
이로부터 $y_1$ 의 범위에 따른 누적 확률 분포의 식은 아래와 같이 나타낼 수 있습니다.
[F_{Y_1}(y_1) = \begin{align} \begin{cases} 0 &y_1 <0 \ \ \int^{y_1}0 \int^{y_1-x_1}_0 d{x_2}d{x_1} &0 \leq y_1 <1 \ \ 1 - \int^1{y_1-1} \int^1_{y_1-x_1} dx_2dx_1 &1 \leq y_1 <2 \ \ 1 &y_1 > 2 \end{cases} \end{align}]
이를 계산한 결과를 나타내면 아래와 같습니다.
[F_{Y_1}(y_1) = \begin{align} \begin{cases} 0 &y_1 <0 \ \ y_1^2/2 &0 \leq y_1 <1 \ \ 1 - (2-y_1)^2/2 &1 \leq y_1 <2 \ \ 1 &y_1 > 2 \end{cases} \end{align}]
앞에서 알아본 바에 따라 $\frac{\partial F_{Y_1}(y_1)}{\partial y_1} = f_{Y_1}(y_1)$ 이므로 각 범위마다 식을 적용하여 확률 밀도 함수를 구할 수 있습니다.
[f_{Y_1}(y_1) = \begin{align} \begin{cases} y_1 &0 \leq y_1 <1 \ \ 2-y_1 &1 \leq y_1 <2 \ \ 0 &\text{otherwise} \end{cases} \end{align}]
Transformation
변환을 사용하는 방법은 단일 확률 변수일 때와 같습니다. 대신 변수가 2개 이므로 야코비안 행렬(Jacobian)의 행렬식(Determinant) $\vert J \vert$ 를 이에 맞게 구해주어야 합니다. 위의 문제를 변환 방법으로 풀어보면서 변수가 2개일 때 변환을 어떻게 적용하게 되는지 알아보겠습니다. 먼저 역함수를 구해보겠습니다.
[x_1 = y_1 - y_2, \quad x_2 = y_2 \qquad I(y_2<y_1<y_2+1, 0<y_2<1)]
이를 활용한 자코비안 $\vert J \vert$ 는 다음과 같이 구할 수 있습니다.
[\vert J \vert = \left\vert\begin{array}{cc} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{array} \right\vert = \left\vert\begin{array}{cc} 1 & -1 \ 0 & 1 \end{array} \right\vert]
이를 활용하면 결합 확률 분포 함수를 구할 수 있습니다.
[\begin{align}
f_{Y_1,Y_2}(y_1,y_2) &= f_{X_1,X_2}(w_1(x_1,x_2),w_2(x_1,x_2))
&= f_{X_1,X_2}(y_1-y_2,y_2) \cdot \vert J \vert
&= 1 \qquad I(y_2<y_1<y_2+1, 0<y_2<1)
\end{align}]
따라서, 확률 변수 $Y_1$ 의 확률 밀도 함수는 다음과 같습니다.
[\begin{align}
f_{Y_1}(y_1) &= \int 1 dy_2
&= \begin{cases} \int^{y_1}0 (1)dy_2 \ \int^{1}{y_1-1} (1) dy_2\end{cases}
\end{align}]
위 두 가지 방법(누적 확률 분포 사용, 변환)을 사용하면 기존의 확률 변수와 연관된 새로운 확률 변수로 변환할 수 있습니다.
이 게시물은 부산대학교 김충락 교수님의 수리통계학 강의를 참고하여 작성하였습니다.
multi-Variable Distribution
이번 시간에는 확률 변수가 2개 이상인 다변량 분포에 대해 알아보도록 하겠습니다. 다변량 분포는 앞서 말한 것과 같이 확률 변수가 2개 이상인 경우의 확률 분포를 가리킵니다. 하지만 확률 변수가 3개만 되더라도 아래에 등장하는 정리들에 대해 계산이 매우 복잡해지므로 이번 게시물에서는 확률 변수가 2개인 이변수(bi-Variable) 확률 분포에 대해서만 다루도록 하겠습니다.
bi-Variable Distribution
지금부터는 확률 변수가 하나가 아닌 2개 이상인 분포를 알아보겠습니다. 2개의 확률 변수는 $X_1, X_2$로 나타내겠습니다. 이 때의 확률 분포 함수는 아래와 같이 나타낼 수 있습니다.
[f_{X_1,X_2}(x_1,x_2)]
확률 분포 함수의 누적 분포 함수는 다음과 같이 나타낼 수 있습니다.
[F_{X_1,X_2}(x_1,x_2) = P(X_1 \leq x_1, X_2 \leq x_2)]
$X_1$ 와 $X_2$ 가 이산 확률 변수일 때, 결합 확률 질량 함수(Joint p.m.f.)는 아래와 같이 나타낼 수 있습니다.
[P_{X_1,X_2}(x_1,x_2) = P(X_1 = x_1, X_2 = x_2)]
반대로 $X_1$ 와 $X_2$ 가 연속 확률 변수라면, 결합 확률 밀도 함수(Joint p.d.f.)는 아래와 같이 나타낼 수 있습니다.
Transformation of multi r.v.s
Discrete Random Variable
$X_1, X_2$ 가 이산 확률 변수일 때 확률 변수를 $Y_1, Y_2$ 로 치환하기 위해서는 몇 가지 가정이 필요합니다. 먼저, 변환 이전의 확률 변수와 변환 이후의 확률 변수가 일대일 대응을 만족해야 합니다. 각각의 확률 변수가 일대일 대응을 만족한다면 임의의 일대일 대응인 함수 $u_1, u_2$ 에 대하여 아래와 같이 나타낼 수 있습니다.
[\begin{cases} y_1 = u_1(x_1,x_2) \ y_2 = u_2(x_1,x_2) \end{cases}]
일대일 대응 조건에 의하여 역함수가 존재하므로 $u$ 의 역함수인 $w$ 를 사용하여 아래와 같이 나타낼 수 있습니다.
[\begin{cases} x_1 = w_1(y_1,y_2) \ x_2 = w_2(y_1,y_2) \end{cases}]
따라서 변환된 확률변수 $Y_1, Y_2$에 대한 결합 확률 질량 함수는 아래와 같이 나타낼 수 있습니다.
[P_{Y_1,Y_2}(y_1,y_2) = P_{X_1,X_2}(w_1(y_1,y_2), w_2(y_1,y_2))]
이를 구하면 아래와 같이 확률 변수 하나에 대한 확률 질량 함수를 구할 수 있게 됩니다.
[P_{Y_1}(y_1) = \sum_{y_2} P_{Y_1,Y_2}(y_1,y_2)]
예를 들어, 아래와 같은 확률 질량 함수가 있다고 해보겠습니다.
[P_{X_1,X_2}(x_1,x_2) = \frac{\mu_1^{x_1} \cdot \mu_2^{x_2} \cdot e^{-(\mu_1+\mu_2)}}{x_1! \cdot x_2!} \qquad x_1,x_2 : 0,1,2, \cdots]
이 확률 질량 함수로부터 $Y_1 = X_1 + X_2$ 를 만족하는 새로운 확률 변수 $Y_1$ 의 확률 질량 함수를 구해보겠습니다. $y_1 = x_1+x_2$ 이며 $y_2 = x_2$ 이면 각각의 함수는 일대일 대응이므로 역함수를 사용하면 $x_1 = y_1-y_2, x_2 = y_2$ 로 나타낼 수 있습니다. 이를 사용하면 확률 변수 $Y_1,Y_2$ 의 결합 확률 질량 함수는 아래와 같이 구해집니다.
[P_{Y_1,Y_2}(y_1,y_2) = \frac{\mu_1^{y_1-y_2} \cdot \mu_2^{y_2} \cdot e^{-(\mu_1+\mu_2)}}{(y_1-y_2)! \cdot y_2!} \qquad \begin{cases} y_1: 0,1,2, \cdots \ y_2 : 0,1,2, \cdots,y_1 \end{cases}]
이로부터 확률 변수 $Y_1$ 의 확률 질량 함수를 구하면 아래와 같이 나타나며 식을 변환하여 간단하게 만들 수 있습니다.
[\begin{align}
P_{Y_1}(y_1) &= \sum_{y_2} P_{Y_1,Y_2}(y_1,y_2)
&= \sum_{t=0}^s \frac{\mu_1^{y_1-y_2} \cdot \mu_2^{y_2} \cdot e^{-(\mu_1+\mu_2)}}{(y_1-y_2)! \cdot y_2!}
&= \frac{e^{-(\mu_1+\mu_2)}}{y_1!} \sum_{t=0}^s \frac{y_1!}{(y_1-y_2)! \cdot y_2!} \cdot \mu_1^{y_1-y_2} \cdot \mu_2^{y_2}
&= \frac{e^{-(\mu_1+\mu_2)}}{y_1!} \cdot (\mu_1 + \mu_2)^{y_1}
& \because \text{Binomial Distribution}
\end{align}]
Continuous Random Variable
다음으로 연속 확률 변수에 대한 변환을 알아보도록 하겠습니다. 확률 변수 1개일 때와 동일하게 연속 확률 변수의 변환에는 2개의 방법이 존재합니다. 첫 번째는 누적 확률 분포 함수(c.d.f.)를 활용한 방법이고 두 번째는 변환(Transformation)을 이용한 방법입니다.
c.d.f. Technique
먼저 첫 번째 방법인 누적 확률 분포 함수를 활용하는 방법에 대해 알아보겠습니다. 이 방법은 변환된 확률 변수인 $Y_1$ 혹은 $Y_2$ 의 누적 확률 분포를 알 수 있을 경우에 사용합니다. 확률 변수 $S$ 에 대한 누적 확률 분포가 아래와 같이 알려져 있다고 해보겠습니다.
[F_{Y_1}(y_1) = P(w(X_1, X_2) \leq y_1)]
이 때의 확률 밀도 함수는 아래와 같이 나타낼 수 있습니다.
[f_{Y_1}(y_1) = \frac{\partial F_{Y_1}(y_1)}{\partial y_1}]
예를 들어, 아래와 같은 결합 확률 분포 함수가 있다고 해보겠습니다.
[f_{X_1,X_2}(x_1,x_2) = I(0<x_1<1, 0<x_2<1)]
누적 확률 분포 함수를 활용한 방법을 사용하여 원래 확률 변수들의 결합 확률 분포 함수로부터 확률변수 $S = X + Y$ 의 확률 분포 함수를 구해보겠습니다. 먼저 우리가 알고자하는 확률 변수 $S$ 의 누적 확률 분포는 아래와 같이 나타낼 수 있습니다.
[F_{X_1}(x_1) = P(x_1+x_2 \leq y_1)]
위 식을 만족하는 범위에서 $x_2 \leq y_1 - x_1$ 이므로 그래프로 나타내면 다음과 같습니다.
이로부터 $y_1$ 의 범위에 따른 누적 확률 분포의 식은 아래와 같이 나타낼 수 있습니다.
[F_{Y_1}(y_1) = \begin{align} \begin{cases} 0 &y_1 <0 \ \ \int^{y_1}0 \int^{y_1-x_1}_0 d{x_2}d{x_1} &0 \leq y_1 <1 \ \ 1 - \int^1{y_1-1} \int^1_{y_1-x_1} dx_2dx_1 &1 \leq y_1 <2 \ \ 1 &y_1 > 2 \end{cases} \end{align}]
이를 계산한 결과를 나타내면 아래와 같습니다.
[F_{Y_1}(y_1) = \begin{align} \begin{cases} 0 &y_1 <0 \ \ y_1^2/2 &0 \leq y_1 <1 \ \ 1 - (2-y_1)^2/2 &1 \leq y_1 <2 \ \ 1 &y_1 > 2 \end{cases} \end{align}]
앞에서 알아본 바에 따라 $\frac{\partial F_{Y_1}(y_1)}{\partial y_1} = f_{Y_1}(y_1)$ 이므로 각 범위마다 식을 적용하여 확률 밀도 함수를 구할 수 있습니다.
[f_{Y_1}(y_1) = \begin{align} \begin{cases} y_1 &0 \leq y_1 <1 \ \ 2-y_1 &1 \leq y_1 <2 \ \ 0 &\text{otherwise} \end{cases} \end{align}]
Transformation
변환을 사용하는 방법은 단일 확률 변수일 때와 같습니다. 대신 변수가 2개 이므로 야코비안 행렬(Jacobian)의 행렬식(Determinant) $\vert J \vert$ 를 이에 맞게 구해주어야 합니다. 위의 문제를 변환 방법으로 풀어보면서 변수가 2개일 때 변환을 어떻게 적용하게 되는지 알아보겠습니다. 먼저 역함수를 구해보겠습니다.
[x_1 = y_1 - y_2, \quad x_2 = y_2 \qquad I(y_2<y_1<y_2+1, 0<y_2<1)]
이를 활용한 자코비안 $\vert J \vert$ 는 다음과 같이 구할 수 있습니다.
[\vert J \vert = \left\vert\begin{array}{cc} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{array} \right\vert = \left\vert\begin{array}{cc} 1 & -1 \ 0 & 1 \end{array} \right\vert]
이를 활용하면 결합 확률 분포 함수를 구할 수 있습니다.
[\begin{align}
f_{Y_1,Y_2}(y_1,y_2) &= f_{X_1,X_2}(w_1(x_1,x_2),w_2(x_1,x_2))
&= f_{X_1,X_2}(y_1-y_2,y_2) \cdot \vert J \vert
&= 1 \qquad I(y_2<y_1<y_2+1, 0<y_2<1)
\end{align}]
따라서, 확률 변수 $Y_1$ 의 확률 밀도 함수는 다음과 같습니다.
[\begin{align}
f_{Y_1}(y_1) &= \int 1 dy_2
&= \begin{cases} \int^{y_1}0 (1)dy_2 \ \int^{1}{y_1-1} (1) dy_2\end{cases}
\end{align}]
위 두 가지 방법(누적 확률 분포 사용, 변환)을 사용하면 기존의 확률 변수와 연관된 새로운 확률 변수로 변환할 수 있습니다.
