Problems 2.52　3.16 Tex Code

\documentclass[a4j]{jarticle} \usepackage{color,amsmath} \usepackage{amsthm} \usepackage{amssymb} \usepackage{graphicx} \usepackage{epsfig} \usepackage{caption} \usepackage{subfigure} \begin{document} \section*{\slshape{\color{blue}{PRML Chapter2's Exercise 2.52} } } \subsection*{\colorbox[named]{BlueGreen}{問題}} $m$は大きくなることにつれて、\emph{von Mises}分布は正規分布になることを証明せよ。 $$ p(\theta|\theta_0,m)=\frac{1}{2\pi I_0(m)}\exp\{m\cos(\theta-\theta_0)\}\eqno{(2.179)} $$ その中に$I_0(m)$はゼロ次の\emph{Bessel}関数である。 $$ I_0(m)=\frac{1}{2\pi}\int_0^{2\pi}\exp\{m\cos\theta\}\,d\theta\eqno{(2.180)} $$ \subsection*{\colorbox[named]{BlueGreen}{回答}} まず問題を解決するとき、 式(2.179)から$\exp$の部分を問題の hint を利用して変形する。 ここでは省略する。 この問題の難しいさは正規化数の部分にあると考えている。 つまり$\xi$に関係ない部分を $\exp$の外に出して、 計算した結果は正規分布の正規化数$\frac{1}{\sqrt{2\pi}}$(この問題では$\sigma=1$) にな ることを検証しなければいけない。 Von Mises 分布を変形した結果は以下のようになっている。 \begin{equation} p(\xi|\theta,m)=\frac{1}{2\pi I_0(m)}\exp(m)\exp(-\frac{\xi^2}{2}) \end{equation}

証明したいことは$m\rightarrow \infty$の場合以下の式が成り立つ。 \begin{equation} \frac{1}{2\pi I_0(m)}\exp(m)=\frac{1}{\sqrt{2\pi}} \end{equation} 上の式を変形して、つまり以下の式が$m\rightarrow \infty$のとき成り立つことが必要と なる。 \begin{equation}\label{tobe_prove} I_0(m)=\frac{\exp(m)}{\sqrt{2\pi m}} \end{equation} \emph{Wikipedia}の\emph{Bessel fuction}の\emph{Asymptotic forms}部分を参照してく ださい。 そこに$I_{\alpha}(x)$に関する近似式が存在する。以下のようになっている。 \begin{equation}\label{from_wikipedia} I_{\alpha}(x)\rightarrow \frac{1}{\sqrt{2\pi x}}\exp(x) \end{equation} 上の式は$x>>|\alpha^2-1/4|$に成り立つ。つまり$x\rightarrow \infty$の近似でもある と考えられる。 当然この近似式については\emph{Abramowitz, Milton; Stegun, Irene A., eds.

(1965)}

の式(9.7.1)でもあげられている。 \emph{Bessel Functions}分野において一つ基本的な近似式となっていることが考えられ る。 式\eqref{from_wikipedia}は一般的な式であるが、 私たちが証明したいのは$I_0$の場合と なる。 式\eqref{tobe_prove}を証明することはそれほど簡単ではない。 その前に、まず\emph{Bessel}関数についてすこし紹介する。 \subsection*{Bessel functions:$J,Y,H$} Bessel 関数$J_\alpha(x)$は一つ非常に重要な特殊関数である。 一般的には以下の微分方程式の特異解として知られている。 $$ x^2\frac{d^2y}{dx^2}+x\frac{dy}{dx}+(x^2-\alpha^2)y=0 $$ 式の中$\alpha$は Bessel 関数の次数となって、一般的に$\alpha$が整数の場合広く研究さ れている。 そして$\alpha,-\alpha$の場合上の方程式が同じであることも注意すべきである。 微分方程式の解としては線形結合によっていろんな variation が考えられる。少なくとも

上の Bessel 微分方程式において以下の三つの種類の関数解が持っている。 \subsubsection*{第一種\emph{Bessel}関数:$J$} $J$の具体的な式の定義については summation 形式と積分形式がある。 積分形式定義は以下のようになっている。 \begin{equation} J_n(x)=\frac{1}{\pi}\int_0^{\pi}\cos(n\theta-x\sin\theta)\,d\theta \end{equation} 式の中に$n$は前の$\alpha$と同じ役割、ただ自然数の場合を指していることで$n$と書き 換えられた。 \subsubsection*{第二種\emph{Bessel}関数:$Y$} $Y$は\emph{Neumann function}とも呼ばれる。自然数次数の場合の定義は以下のようにな る。 \begin{equation} Y_n(x)=\frac{1}{\pi}\int_0^{\pi}\sin(x\sin\theta-n\theta)\,d\theta -\frac{1}{\pi}\int_0^{\infty}\big[e^{nt}-(-1)^ne^{-nt}\big]e^{-x\sin t}\,dt \end{equation} \subsubsection*{第三種\emph{Bessel}関数:$H$} $H$は\emph{Hankel function}とも呼ぶ。$J$を real、$Y$を imaginary 部分とする虚数で ある。 式は以下のようになっている。 \begin{equation} \begin{split} H_n^{(1)}(x)&=J_n(x)+iY_n(x)\\ H_n^{(2)}(x)&=J_n(x)-iY_n(x) \end{split} \end{equation} \subsection*{Modified Bessel functions:$I,K$} ここではいよいよ$I$の登場となる。$I,K$は実は以下のような微分方程式の解である。 $$ x^2\frac{d^2y}{dx^2}+x\frac{dy}{dx}-(x^2+\alpha^2)y=0 $$ Bessel 関数を解とする微分方程式と微妙に違うが、関係が強い。 具体的では以下のようになっている。 \begin{equation} \begin{split}

I_{\alpha}(x)&=i^{-\alpha}J_{\alpha}(ix)\\ K_{\alpha}(x)&=\frac{\pi}{2}\frac{I_{-\alpha}(x)-I_{\alpha}(x)}{\sin(\alpha\pi)} \\ &=\frac{\pi}{2}i^{\alpha+1}H_{\alpha}^{(1)}(ix) \end{split} \end{equation} \subsection*{Bessel 関数の表現形式} 以下は$J_n(x)$を例として、その定義の三つの形式について説明する。 $I_n(x)$についても同じような形式が存在する。 summation 形式、これは微分方程式を解くとき一番最初に得られた式である。 \begin{equation}\label{J_summation} J_n(x)=\sum_{r=0}^{\infty}(-1)^r\frac{1}{r!\Gamma(n+r+1)}\bigg(\frac{x}{2}\bigg) ^{2r+n} \end{equation} 三角関数に関する積分形式： \begin{equation}\label{J_int_angle} J_n(x)=\frac{1}{\pi}\int_0^{\pi}\cos(n\theta-x\sin\theta)\,d\theta \end{equation} 一般の積分形式： \begin{equation}\label{J_int_common} J_n(x)=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^n\int_{1}^1 (1-t^2)^{n-\frac{1}{2}}e^{ixt}\,dt\qquad(n>-\frac{1}{2}) \end{equation} 式\eqref{J_summation},\eqref{J_int_angle},\eqref{J_int_common}の等価性についての 証明は W. W. Bell.(2004)4.3 節を参照して ください。当然ほかの表現形式もある、Abramowitz, Milton; Stegun, Irene A., eds. (1965)の第 9 章を参照してください。 \subsection*{PROOF of 式\eqref{tobe_prove}} W. W. Bell.(2004)の p127-p130 を参照してください。 証明の出発は$I_n(x)$の一般の積分形式[Abramowitz, Milton; Stegun, Irene A., eds. (1965),p376:式 9.6.18][W. W. Bell.(2004),p116:Theorem 4.17]からとする。 \begin{equation}\label{I_common} I_n(x)=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^n\int_{1}^1e^{-xt}(1-t^2)^{n-\frac{1}{2}}\,dt\qquad(n>-\frac{1}{2})

\end{equation} この式に$t=-1+\frac{u}{x}$としておく、この場合積分範囲は$[0,2x]$になる。 式\eqref{I_common}に代入すると以下のようになる。 \begin{equation} \begin{split} I_n(x)&=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^n\int_{ 0}^{2x}e^{x-u}(\frac{2u}{x}-\frac{u^2}{x^2})^{n-\frac{1}{2}}\frac{1}{x}\,du\\ &=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^ne^x\bigg(\fr ac{2}{x}\bigg)^{n-\frac{1}{2}}\frac{1}{x}\int_0^{2x}e^{-u}(1-\frac{u}{2x})u^{n-\ frac{1}{2}}\,du\\ &=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^ne^x\bigg(\fr ac{2}{x}\bigg)^{n-\frac{1}{2}}\frac{1}{x}\int_0^{2x}e^{-u}(1-\frac{u}{2x})^{n-\f rac{1}{2}}u^{n-\frac{1}{2}}\,du \end{split} \end{equation} 上の式の中に$(1-\frac{u}{2x})^{n-\frac{1}{2}}$は$x\rightarrow\infty$の場合 1 にな る。 これで上の式は以下のように変形できる。 \begin{equation} \begin{split} I_n(x)&=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^ne^x\bi gg(\frac{2}{x}\bigg)^{n-\frac{1}{2}}\frac{1}{x}\int_0^{\infty}e^{-u}u^{n-\frac{1 }{2}}\,du\\ &=\frac{1}{\sqrt{\pi}\Gamma(n+\frac{1}{2})}\bigg(\frac{x}{2}\bigg)^ne^x\bigg(\fr ac{2}{x}\bigg)^{n-\frac{1}{2}}\frac{1}{x}\Gamma(n+\frac{1}{2})\\ &=\frac{e^x}{\sqrt{2\pi x}} \end{split} \end{equation} その中に$\Gamma$関数の計算式を利用した。これで式\eqref{tobe_prove}が証明できた。 $I_n(x)$の三角関数に関する積分形式は一般の積分形式等価性についてはここでは一般的 な $I_n(x)$の場合を証明するじゃなくて、$I_0(x)$の場合のみ証明する。 同じく一般の積分形式から出発する。 \begin{equation} I_0(x)=\frac{1}{\sqrt{\pi}\Gamma(\frac{1}{2})}\int_{-1}^1e^{-xt}(1-t^2)^{-\frac{ 1}{2}}\,dt

\end{equation} $t=\cos\theta$とおいて上の式に代入する。 \begin{equation} \begin{split} I_0(x)&=\frac{1}{\sqrt{\pi}\Gamma(\frac{1}{2})}\int_{\pi}^0e^{-x\cos\theta}\frac {1}{\sin\theta}(-\sin\theta)\,d\theta\\ &=\frac{1}{\sqrt{\pi}\Gamma(\frac{1}{2})}\int_{0}^{\pi}e^{-x\cos\theta}\,d\theta \\ &=\frac{1}{\pi}\int_{0}^{\pi}e^{x\cos\theta}\,d\theta \end{split} \end{equation} これは式(2.180)と一致している。 以上をまとめて、問題 2.52 を証明できると考えられる。 PS.PRML の p109 の figure 2.20 の$I_0(m)$図は間違い、$m=0$の場合$I_0(m)$は 1 になる はず(たて軸のスケールが大きすぎかもしれない)。 \section*{Reference} Abramowitz, Milton; Stegun, Irene A., eds. (1965), "Chapter 9", Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, New York: Dover, ISBN 0-486-61272-4.\\ \quad W. W. Bell.(2004), Special Functions for Scientists and Engineers (Dover Books on Mathematics). \section*{\slshape{\color{blue}{PRML Chapter3's Exercise 3.16} } } \subsection*{\colorbox[named]{BlueGreen}{問題}} 式(2.115)の 級ﾊを利用して、式(3.77)が式(3.86)になっていることを証明せよ。 $$ p(\mathbf{t}|\alpha,\beta)=\int p(\mathbf{t}|\mathbf{w},\beta)p(\mathbf{w}|\alpha)\,d\mathbf{w}\eqno{(3.77)} $$ $$ p(\mathbf{t}|\alpha,\beta)=\alpha^{M/2}\big(\frac{\beta}{2\pi}\big)^{N/2}\frac{1 }{|A|^{1/2}}\exp\bigg\{-\frac{1}{2}(\beta||\mathbf{t}-\mathbf{\Phi}\mathbf{m}_N| |^2+\alpha\mathbf{m}_n^T\mathbf{m}_N)\bigg\}\eqno{(3.86')} $$

\subsection*{\colorbox[named]{BlueGreen}{回答}} 式(3.77)の中に： \begin{equation} \label{likelihood_316} p(\mathbf{t}|\mathbf{w},\beta)=\prod_{n=1}^N{\cal{N}}(t_n|\mathbf{w}^T\phi(\math bf{x}_n),\beta^{-1})={\cal{N}}(\mathbf{t}|\mathbf{\Phi}\mathbf{w},\beta^{-1} I) \end{equation} 式\eqref{likelihood_316}、そして式(3.52)を式(3.77)に代入すると以下になる。 \begin{equation} \label{result_dis} \begin{split} p(\mathbf{t}|\alpha,\beta)&=\int {\cal{N}}(\mathbf{t}|\mathbf{\Phi}\mathbf{w},\beta^{-1} I){\cal{N}}(\mathbf{w}|\mathbf{0},\alpha^{-1}I)\,d\mathbf{w}\\ &={\cal{N}}(\mathbf{t}|\mathbf{0},\beta^{-1}I+\alpha^{-1}\mathbf{\Phi}\mathbf{\P hi}^{T})\\ &=\frac{1}{(2\pi)^{N/2}}\frac{1}{|\beta^{-1}I+\alpha^{-1}\mathbf{\Phi}\mathbf{\P hi}^{T}|^{1/2}} \exp\bigg\{-\frac{1}{2}\mathbf{t}^T(\beta^{-1}I+\alpha^{-1}\mathbf{\Phi}\mathbf{ \Phi}^{T})^{-1}\mathbf{t}\bigg\} \end{split} \end{equation} \textbf{式\eqref{result_dis}と式(3.86')の等価性について証明する。} まず$\exp$の部分について証明する。 \begin{equation} \begin{split} \frac{\beta}{2}(\mathbf{t-\Phi}\mathbf{m}_N)^T(\mathbf{t-\Phi}\mathbf{m}_N)+\fra c{\alpha}{2}\mathbf{m}_N^T\mathbf{m}_N&=\frac{\beta}{2}(\mathbf{t}^T\mathbf{t}-2 \mathbf{\Phi m}_N\mathbf{t}+\mathbf{m}_N^T\mathbf{\Phi}^T\mathbf{\Phi}\mathbf{m}_N) +\frac{\alpha}{2}\mathbf{m}_N^T\mathbf{m}_N\\ &=\frac{\beta}{2}(\mathbf{t}^T\mathbf{t}-2\mathbf{t}^T\beta\mathbf{\Phi}A^{-1}\m athbf{\Phi}^T\mathbf{t}) +\frac{1}{2}\beta^2(A^{-1}\mathbf{\Phi}^T\mathbf{t})^TAA^{-1}\mathbf{\Phi}^T\mat

hbf{t}\\ &=\frac{\beta}{2}\mathbf{t}^T\mathbf{t} -\frac{1}{2}\beta^2\mathbf{t}^T\mathbf{\Phi}A^{-1}\mathbf{\Phi}^T\mathbf{t}\\ &=-\frac{1}{2}\mathbf{t}^T\bigg\{-\beta

I+\beta

I\mathbf{\Phi}(\alpha

I+\beta\mathbf{\Phi}^T\mathbf{\Phi})^{-1}\mathbf{\Phi}^T\beta I\bigg\}\mathbf{t}\\ &=-\frac{1}{2}\mathbf{t}^T\bigg\{-\beta^{-1}I-\mathbf{\Phi}\alpha^{-1}I\mathbf{\ Phi}^T\bigg\}^{-1}\mathbf{t}\\ &=\frac{1}{2}\mathbf{t}^T\bigg\{\beta^{-1}I+\alpha^{-1}\mathbf{\Phi}\mathbf{\Phi }^T\bigg\}^{-1}\mathbf{t} \end{split} \end{equation} 下から二番目の等式成立する理由は式(C.7)。 以上は$\exp$の部分を証明できる。 係数の部分について証明していきたい。 \begin{equation} \begin{split} |\alpha^{-1}I_{(M*M)}||\beta^{-1}I_{(N*N)}||A|&=|\alpha^{-1}I_{(M*M)}||\beta^{-1 }I_{(N*N)}||\alpha I_{(M*M)}+\beta\mathbf{\Phi}^T\mathbf{\Phi}|\\ &=|\beta^{-1}I_{(N*N)}||I_{(M*M)}+\alpha^{-1}\beta\mathbf{\Phi}^T\mathbf{\Phi}|\ \ &=|\beta^{-1}I_{(N*N)}||I_{(N*N)}+\alpha^{-1}\beta\mathbf{\Phi}\mathbf{\Phi}^T|\ \ &=|\beta I_{(N*N)}+\alpha^{-1}\mathbf{\Phi}\mathbf{\Phi}^T| \end{split} \end{equation} 下から二番目の等式成立する理由は式(C.14)。そして全体では式(C.12)を利用した。 \end{document}