PRML2.9

この演習問題ではディリクレ分布が正規化されていることを、帰納法によって証明する.ディリクレ分布でM=2とした特殊な場合であるベータ分布が正規化されていることは、演習問題2.5で既に示した.
\int^{1}_{0}\mu^{a-1}(1-\mu)^{b-1}d\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} \ \ (1)
次にディリクレ分布がM-1変数の場合に正規化されているとの仮定の下、M変数でも正規化されていることを証明する.これにはまず、M変数のディリクレ分布から、\Sigma^{M}_{k=1}\mu_k=1の制約を使って\mu_Mを除去して、ディリクレ分布を
P_{M}(\mu_1,...,\mu_{M-1})=C_{M}\prod^{M-1}_{k=1}\mu_{k}^{\alpha_{k}-1}\left(1-\sum^{M-1}_{j=1}\mu_{j}\right)^{\alpha_{M}-1}
と書く.すると、あとはC_Mを表す式を求めればよい.これには、この式を、範囲に注意しつつ\mu_{M-1}について積分し、さらに、この積分の範囲が0から1となるように変数を置換する.C_{M-1}での結果が正しいと仮定して(1)式を用いて、C_{M}の式を導出せよ.

◆証明
M=2のときは演習2.5より成立していることが分かる.

M=N-1で成立していると仮定し、M=Nの場合、
P_N(\mu_{1},{...},\mu_{N})=C_N\prod^{N}_{k=1}\mu^{a_N}_k
で正規化されていることを証明する.

N変数のディリクレ分布から\sum^{N}_{k=1}\mu_{k}=1より、
\sum^{N-1}_{k=1}\mu_{k}+\mu_N=1、つまり\mu_N=1-\sum^{N-1}_{k=1}\mu{k}.
よって、
P_{N}(\mu_{1},{...},\mu_{N})=C_{N}\prod^{N-1}_{k=1}\mu^{a_k-1}_{k} \left(1-\sum^{N-1}_{j=1}\mu_{j}\right)^{a_N-1}

と\mu_{N-1}でM=Nの確率密度関数を表すことが出来る.
P_{N-1}(\mu_{1},{...},\mu_{N-2})=\int^{\mu_{N-1}}_{0}P_N(\mu_{1},{...},\mu_{N-1})d\mu_{N-1} \ \ (2)

ここでM=N-1のとき\sum^{N-1}_{j=1}\mu_{j}=1より、\mu_{N-1}=1-\sum^{N-2}_{j=1}\mu{j}となるため、
P_{N-1}(\mu_{1},{...},\mu_{N-2})=\int^{1-\sum^{N-2}_{j=1}\mu{j}}_{0}C_N\prod^{N-1}_{k=1}\mu^{a_k-1}_{k}\left(1-\sum^{N-1}_{j=1}\mu_{j}\right)^{\alpha_{N}-1}d\mu_{N-1}
ここで\mu_{N-1}=t\left(1-\sum^{N-2}_{j=1}\mu_j\right)と変数変換すると、
d\mu_{N-1}=\left(1-\sum^{N-2}_{j=1}\mu_j\right)dtで
積分区間は\mu_{N-1}:0→1-\sum^{N-2}_{j=1}\mu_jからt:0→1となる.

よって(2)は
P_{N-1}(\mu_{1},{...},\mu_{N})\\ =\int^{1}_{0}C_N\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}・\mu^{a_{N-1}-1}_{N-1}\left(1-\left(\sum^{N-2}_{j=1}\mu_{j}+\mu_{N-1}\right)\right)^{a_N-1}d\mu_{N-1}\nonumber \\ =\int^{1}_{0}C_N\left(\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}\right)\left(t\left(1-\sum^{N-2}_{j=1}\mu_j\right)\right)^{a_{N-1}-1}\left(1-\left(\sum^{N-2}_{j=1}\mu_{j}+t\left(1-\sum^{N-2}_{j=1}\mu_j\right)\right)\right)^{a_N-1}\left(1-\sum^{N-2}_{j=1}\mu_j\right)dt\nonumber\\ =\int^{1}_{0}C_N\left(\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}\right)\left(t\left(1-\sum^{N-2}_{j=1}\mu_j\right)\right)^{a_{N-1}-1}\left((1-t)\left(1-\sum^{N-2}_{j=1}\mu_j\right)\right)^{a_N-1}\left(1-\sum^{N-2}_{j=1}\mu_j\right)dt\nonumber\\ =C_N\left(\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}\right)\left(1-\sum^{N-2}_{j=1}\mu_j\right)^{a_{N-1}-1}\left(1-\sum^{N-2}_{j=1}\mu_j\right)^{a_N-1}\left(1-\sum^{N-2}_{j=1}\mu_j\right)\int^{1}_{0}t^{a_{N-1}-1}(1-t)^{a_N-1}dt\nonumber\\ =C_N\left(\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}\right)\left(1-\sum^{N-2}_{j=1}\mu_j\right)^{a_{N-1}+a_{N}-1}\int^{1}_{0}t^{a_{N-1}-1}(1-t)^{a_N-1}dt\nonumber\\ =C_N\left(\prod^{N-2}_{j=1}\mu_{ｊ}^{a_j-1}\right)\left(1-\sum^{N-2}_{j=1}\mu_j\right)^{a_{N-1}+a_{N}-1}\frac{\Gamma(a_{N-1})\Gamma(a_{N})}{\Gamma(a_{N-1}+a_{N})} \ \ (3)

ここでM=N-1で正規化されていることを仮定しているので、
P_{N-1}(\mu_{1},{...},\mu_{N-2})=\frac{\Gamma(a_{1}+{…}+a_{N-1})}{\Gamma(a_{1})\cdot\cdot\cdot\Gamma(a_{N-2})\Gamma(a_{N-1})}\prod^{N-2}_{k=1}\mu_{k}^{a_k-1}\left(1-\sum^{N-2}_{j=1}\right)^{a_{N-1}-1}\nonumber\\ =\frac{\Gamma(a_{1}+{…}+a_{N-1}+a_{N})}{\Gamma(a_{1})\cdot\cdot\cdot\Gamma(a_{N-2})\Gamma(a_{N-1}+a_{N})}\prod^{N-2}_{k=1}\mu_{k}^{a_k-1}\left(1-\sum^{N-2}_{j=1}\right)^{a_{N-1}+a_{N}-1}

これが(3)と等しくなるため、
C_N\frac{\Gamma(a_{N-1})\Gamma(a_{N})}{\Gamma(a_{N-1}+a_{N})}=\frac{\Gamma(a_{1}+{…}+a_{N-1}+a_{N})}{\Gamma(a_{1})\cdot\cdot\cdot\Gamma(a_{N-2})\Gamma(a_{N-1}+a_{N})}

C_N=\frac{\Gamma(a_{1}+{…}+a_{N-1}+a_{N})}{\Gamma(a_{1})…\Gamma(a_{N-2})\Gamma(a_{N-1}+a_{N})}･\frac{\Gamma(a_{N-1}+a_{N})}{\Gamma(a_{N-1})\Gamma(a_{N})}\nonumber\\ =\frac{\Gamma(a_{1}+{…}+a_{N-1}+a_{N})}{\Gamma(a_{1})\cdot\cdot\cdot\Gamma(a_{N-2})\Gamma(a_{N-1})\Gamma(a_{N})}
となり、M=Nの場合も成立するため、帰納法よりディリクレ分布が正規化されていることが証明された.