【確率分布と積率母関数】確率変数の分散をモーメントを使ってシンプルに計算できる
確率変数Xの分散は、Xの1次のモーメントと2次のモーメントを使って計算できます。
期待値から丁寧に理解を進めていきます。
最終的に確率変数の分散がシンプルなものに置き換えられます。
期待値
確率変数に対しては、平均ではなく期待値ということが多いです。
離散型の確率変数の期待値は、
$$ E(X) = \sum_{x} x P(X = x) $$
と表すことができ、連続型の確率分布の期待値は、
$$ E(X) = \int_{-\infty}^{\infty} x f(x)dx $$
と表せます。どちらの場合も無限和になる場合（サイコロの目Xがn回目で初めて出る確率など）があるため、常に存在するとは限りませんが。。。
$[a,b]$を台に持つ連続一様分布に従う確率変数Xの期待値は、$\frac{a+b}{2}$になることが直感でわかりますが、これを確かめてみると、
\begin{eqnarray}
E(X) &=& \int_{-\infty}^{\infty} x f(x)dx \\
&=& \int_{a}^{b} x \frac{1}{b - a}dx \\
&=& \frac{1}{b - a} \left[\frac{x^2}{2}\right]_a^b \\
&=& \frac{1}{b - a} \frac{b^2}{2} - \frac{1}{b - a} \frac{a^2}{2} \\
&=& \frac{b^2 - a^2}{2(b - a)} \\
&=& \frac{(b+a)(b-a)}{2(b - a)} \\
&=& \frac{a+b}{2}
\end{eqnarray}
となります。直感が定義にしたがって計算するとやっぱり正しかったことを再確認できました。
確率変数Xの分散$V(X)$は
$$ V(X) = E(X^2) - E(X)^2 $$
が成り立ちますが、これは以下のように証明できます。
$\mu$は期待値
\begin{eqnarray}
V(X) &=& E((X - \mu)^2) \\
&=& E(X^2 - 2X\mu - \mu^2) \\
&=& E(X^2) - 2\mu E(X) - \mu^2E(1) \\
&=& E(X^2) - 2\mu E(X) - \mu^2E(1) \\
&=& E(X^2) - 2\mu ^2 - \mu^2 \\
&=& E(X^2) - \mu ^2 \\
&=& E(X^2) - E(X)^2
\end{eqnarray}
モーメント
$ V(X)= E(X^2) - E(X)^2 $ が成り立つことを証明しました。この$E(X^2)$を、Xの2次のモーメント（積率）といいます。
一般に、$E(X^k)$を$X$のk次のモーメント（積率）と言います。
$[a,b]$を台に持つ連続一様分布に従う確率変数Xの$E(X^2)$、つまり$X$の2次のモーメントを計算すると、連続確率変数の期待値は
$$E(X) = \int_{a}^{b} x f(x)dx$$
であり、連続一様分布の確率密度関数は、
$$ f(x) = \begin{cases} \frac{1}{b - a} (a \leq x \leq b) \\ 0 (その他) \end{cases} $$
です。つまり連続一様分布の期待値は
$$E(X) = \int_{a}^{b} x \frac{1}{b - a}dx$$
になります。これより、
\begin{eqnarray}
E(X^2) &=& \int_{a}^{b} \frac{x^2}{b-a}dx \\
&=& \frac{1}{b-a} \left[\frac{x^3}{3}\right]_a^b \\
&=& \frac{1}{b-a} \frac{b^3}{3} - \frac{1}{b-a} \frac{a^3}{3} \\
&=& \frac{b^3 - a^3}{3(b-a)} \\
&=& \frac{(b-a)(b^2 + ba + a^2)}{3(b-a)} \\
&=& \frac{a^2 + ab + b^2}{3}
\end{eqnarray}
これより、確率変数$X$の分散$V(X)$は、以下のように計算できます。
\begin{eqnarray}
V(X) &=& E(X^2) - E(X)^2 \\
&=& \frac{a^2 + ab + b^2}{3} - \frac{(a+b)^2}{4} \\
&=& \frac{4(a^2 + ab + b^2) - 3(a^2 + 2ab + b^2)}{12} \\
&=& \frac{a^2 - 2ab + b^2}{12} \\
&=& \frac{(a - b)^2}{12}
\end{eqnarray}
全てのモーメントの計算
確率変数の分散が、Xの1次と2次のモーメントから計算することができることを見ていきました。
一般にモーメントの計算をする方法があれば便利な気がしますよね。
全てのモーメントを求めるには積率母関数
$$M_X(t) = E(e^{tX})$$
が便利です。
これは、離散確率変数の場合、
$$ M_X(t) = \sum_{x} e^{tX} P(X = x) $$
であり、連続確率変数の場合、
$$ M_X(t) = \int_{-\infty}^{\infty} e^{tX} f(x)dx $$
となります。
ここで、マクローリン展開を使います。マクローリン展開についてはこちらの記事で解説しています。
$ e^x $をマクローリン展開の公式
\begin{eqnarray}
f(x) &=& \sum_{k=0}^{\infty} \frac{f^{(k)}(0)}{k!}(x)^k
\end{eqnarray}
に当てはめてマクローリン展開すると、
$$ e^x = \sum_{k=0}^{\infty} \frac{x^{k}}{k!} = 1 + \frac{x}{1!} + \frac{x^2}{2!} + … $$
であることから、
$e^{tX}$のマクローリン展開をすると、
$$ e^{tX} = 1 + \frac{tX}{1!} + \frac{t^2 X^2}{2!} + … $$
となることがわかります。
この式の両辺の期待値をとると、
$$E(e^{tx}) = M_X(t) =1 + E(X)t + \frac{1}{2!} E(X^2)t^2 + \frac{1}{3!} E(X^3)t^3 + … $$
となります。
一方で、積率母関数$M_X(t) = E(e^{tX})$のマクローリン展開をすると、
$$ M_X(t) = 1 + M'_X(0)t + \frac{1}{2!} M''_X(0)t^2 + \frac{1}{3!} M'''_X(0)t^3 + … $$
となるので、
上二つの式の係数を比較して、
$$ E(X^k) = M^{(k)}_X(0) $$
が成り立つことがわかります。
これは、確率変数$X$の$k$次のモーメントが、$X$の積率母関数$M_X(t)$を$k$階微分したものに$t=0$を代入したものと等しくなるということです。
標準正規分布に従う確率変数Xのモーメントを導出
標準正規分布に従う確率変数Xのモーメントの分布を調べるとき、
標準正規分布に従う確率密度関数は
$$ f(x) = \frac{1}{\sqrt{2\pi}}e^{- \frac{x^2}{2}} $$
となることがわかります。
なので直接計算すると$X$の$k$次のモーメントを計算すると、
$$ E(X^k) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} x^k e^{\frac{-x^2}{2}} dx $$
を計算することになりますがこれは非常に面倒です。そこで、
Xの積率母関数（モーメント母関数）$M_X(t) = E(e^{tX})$のマクローリン展開した式を使うと、計算をシンプルにすることができます。
まずXの積率母関数$M_X(t)$を計算すると、
\begin{eqnarray}
M_X(t) =E(e^{tX}) &=& \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\infty} e^{tX} e^{- \frac{x^2}{2}}dx \\
&=& \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\infty} e^{- \frac{(x-t)^2 - t^2}{2} }dx \\
&=& \frac{e^{\frac{t^2}{2}}}{\sqrt{2 \pi}} \int_{-\infty}^{\infty} e^{- \frac{(x-t)^2}{2} }dx \\
&=& \frac{e^{\frac{t^2}{2}}}{\sqrt{2 \pi}} \int_{-\infty}^{\infty} e^{- \frac{x^2}{2} }dx \\
ガウス積分 \int_{-\infty}^{\infty} e^{-a x^2} dx &=& \sqrt{\frac{\pi}{a}} (a > 0)を利用して、\\
&=& \frac{e^{\frac{t^2}{2}}}{\sqrt{2 \pi}} \cdot \sqrt{2 \pi} \\
&=& e^{\frac{t^2}{2}}
\end{eqnarray}
となります。$e^x$をマクローリン展開すると
$$e^x = \sum_{k=0}^{\infty} \frac{x^{k}}{k!}$$
となります。
これに$x=\frac{t^2}{2}$を代入すれば、
$$ E(e^{tX})=e^{\frac{t^2}{2}} = \sum_{n=0}^{\infty} \frac{t^{2n}}{2^n n!} $$
が得られ、上述した$e^{tX}$のマクローリン展開の式の両辺の期待値をとった式
$$M_X(t) = E(e^{tX}) = 1 + E(X)t + \frac{1}{2!} E(X^2)t^2 + \frac{1}{3!} E(X^3)t^3 + … $$
と比較して、
$$ E(X^k) = \begin{cases} \frac{(2n)!}{2^n n!} (偶数(k=2n)の時) \\ 0 (奇数の時) \end{cases} $$
となります。非常にシンプルな結果を得ることができ使いやすいです。積率母関数とマクローリン展開の組み合わせの強力さがわかります。
Xの確率分布を指定するとモーメントが定まり、また逆に全てのモーメントを決めるとXの確率分布が定まります。上のようなモーメントを持つ確率分布は、標準正規分布以外にはありません。
つまり、数学的には確率分布と積率母関数は一対一に対応しており、確率分布の性質を調べるためには積率母関数の性質を調べればいいことになります。
