Prml Problems 2.52,3.16

PRML Chapter2’s Exercise 2.52 問題

m は大きくなることにつれて、von Mises 分布は正規分布になることを証明せよ。 1 exp{m cos(θ − θ0 )} 2πI0 (m)

p(θ|θ0 , m) =

(2.179)

その中に I0 (m) はゼロ次の Bessel 関数である。

1 I0 (m) = 2π

Z

2π

exp{m cos θ} dθ

(2.180)

0

回答 まず問題を解決するとき、式 (2.179) から exp の部分を問題の hint を利用して変形する。ここで は省略する。この問題の難しいさは正規化数の部分にあると考えている。つまり ξ に関係ない部分 を exp の外に出して、計算した結果は正規分布の正規化数

√1 (この問題では 2π

σ = 1) になること

を検証しなければいけない。

Von Mises 分布を変形した結果は以下のようになっている。 p(ξ|θ, m) =

ξ2 1 exp(m) exp(− ) 2πI0 (m) 2

(1)

証明したいことは m → ∞ の場合以下の式が成り立つ。

1 1 exp(m) = √ 2πI0 (m) 2π

(2)

上の式を変形して、つまり以下の式が m → ∞ のとき成り立つことが必要となる。

exp(m) I0 (m) = √ 2πm

(3)

Wikipedia の Bessel fuction の Asymptotic forms 部分を参照してください。そこに Iα (x) に関す る近似式が存在する。以下のようになっている。 Iα (x) → √

1 exp(x) 2πx

(4)

上の式は x >> |α2 − 1/4| に成り立つ。つまり x → ∞ の近似でもあると考えられる。当然この近 似式については Abramowitz, Milton; Stegun, Irene A., eds. (1965) の式 (9.7.1) でもあげられて いる。Bessel Functions 分野において一つ基本的な近似式となっていることが考えられる。式 (8) は一般的な式であるが、私たちが証明したいのは I0 の場合となる。 式 (7) を証明することはそれほど簡単ではない。その前に、まず Bessel 関数についてすこし紹 介する。

1

Bessel functions:J, Y, H Bessel 関数 Jα (x) は一つ非常に重要な特殊関数である。一般的には以下の微分方程式の特異解 として知られている。

d2 y dy +x + (x2 − α2 )y = 0 dx2 dx 式の中 α は Bessel 関数の次数となって、一般的に α が整数の場合広く研究されている。そして α, −α の場合上の方程式が同じであることも注意すべきである。微分方程式の解としては線形結合 によっていろんな variation が考えられる。少なくとも上の Bessel 微分方程式において以下の三つ の種類の関数解が持っている。 x2

第一種 Bessel 関数:J

J の具体的な式の定義については summation 形式と積分形式がある。積分形式定義は以下のよ うになっている。

1 Jn (x) = π

Z

π

cos(nθ − x sin θ) dθ

(5)

0

式の中に n は前の α と同じ役割、ただ自然数の場合を指していることで n と書き換えられた。

第二種 Bessel 関数:Y

Y は Neumann function とも呼ばれる。自然数次数の場合の定義は以下のようになる。 Z Z ¤ 1 ∞ £ nt 1 π sin(x sin θ − nθ) dθ − e − (−1)n e−nt e−x sin t dt Yn (x) = π 0 π 0

(6)

第三種 Bessel 関数:H

H は Hankel function とも呼ぶ。J を real、Y を imaginary 部分とする虚数である。式は以下の ようになっている。 Hn(1) (x) = Jn (x) + iYn (x) Hn(2) (x) = Jn (x) − iYn (x)

(7)

Modified Bessel functions:I, K ここではいよいよ I の登場となる。I, K は実は以下のような微分方程式の解である。

x2

d2 y dy +x − (x2 + α2 )y = 0 dx2 dx

Bessel 関数を解とする微分方程式と微妙に違うが、関係が強い。具体的では以下のようになって いる。 Iα (x) = i−α Jα (ix) π I−α (x) − Iα (x) 2 sin(απ) π α+1 (1) = i Hα (ix) 2

Kα (x) =

2

(8)

Bessel 関数の表現形式 以下は Jn (x) を例として、その定義の三つの形式について説明する。In (x) についても同じよう な形式が存在する。summation 形式、これは微分方程式を解くとき一番最初に得られた式である。

µ ¶2r+n 1 x Jn (x) = (−1) r!Γ(n + r + 1) 2 r=0 ∞ X

r

(9)

三角関数に関する積分形式：

Jn (x) =

1 π

Z

π

cos(nθ − x sin θ) dθ

(10)

0

一般の積分形式：

µ ¶n Z 1 1 x 1 (1 − t2 )n− 2 eixt dt Jn (x) = √ 1 πΓ(n + 2 ) 2 −1

1 (n > − ) 2

(11)

式 (13),(14),(15) の等価性についての証明は W. W. Bell.(2004)4.3 節を参照してください。当然 ほかの表現形式もある、Abramowitz, Milton; Stegun, Irene A., eds. (1965) の第 9 章を参照して ください。

PROOF of 式 (7) W. W. Bell.(2004) の p127-p130 を参照してください。証明の出発は In (x) の一般の積分形式 [Abramowitz, Milton; Stegun, Irene A., eds. (1965),p376:式 9.6.18][W. W. Bell.(2004),p116:Theorem 4.17] からとする。 In (x) = √ この式に t = −1 +

u x

µ ¶n Z 1 1 1 x e−xt (1 − t2 )n− 2 dt 1 πΓ(n + 2 ) 2 −1

1 (n > − ) 2

(12)

としておく、この場合積分範囲は [0, 2x] になる。式 (16) に代入すると以下

のようになる。

µ ¶n Z 2x 1 x 2u u2 n− 1 1 ex−u ( − 2 ) 2 du 1 x x x πΓ(n + 2 ) 2 0 µ ¶n µ ¶n− 12 Z 2x 1 x 2 1 u n− 1 ex e−u (1 − )u 2 du =√ x x 0 2x πΓ(n + 12 ) 2 µ ¶n µ ¶n− 12 Z 2x 1 x 2 u n− 1 n− 1 1 =√ ex e−u (1 − ) 2 u 2 du x x 0 2x πΓ(n + 12 ) 2

In (x) = √

上の式の中に (1 −

u n− 12 2x )

(13)

は x → ∞ の場合 1 になる。これで上の式は以下のように変形できる。

µ ¶n µ ¶n− 12 Z ∞ 1 1 x 2 1 e−u un− 2 du ex x x 0 πΓ(n + 12 ) 2 µ ¶n µ ¶n− 12 1 x 2 1 1 =√ ex Γ(n + ) x x 2 πΓ(n + 12 ) 2 ex =√ 2πx

In (x) = √

3

(14)

その中に Γ 関数の計算式を利用した。これで式 (7) が証明できた。In (x) の三角関数に関する積 分形式は一般の積分形式等価性についてはここでは一般的な In (x) の場合を証明するじゃなくて、

I0 (x) の場合のみ証明する。同じく一般の積分形式から出発する。 1 I0 (x) = √ πΓ( 12 )

Z

1

1

e−xt (1 − t2 )− 2 dt

(15)

−1

t = cos θ とおいて上の式に代入する。 Z 0 1 1 (− sin θ) dθ e−x cos θ 1 sin θ πΓ( 2 ) π Z π 1 =√ e−x cos θ dθ πΓ( 12 ) 0 Z 1 π x cos θ = e dθ π 0

I0 (x) = √

(16)

これは式 (2.180) と一致している。 以上をまとめて、問題 2.52 を証明できると考えられる。PS.PRML の p109 の figure 2.20 の I0 (m) 図は間違い、m = 0 の場合 I0 (m) は 1 になるはず (たて軸のスケールが大きすぎかもしれない)。

Reference Abramowitz, Milton; Stegun, Irene A., eds. (1965), ”Chapter 9”, Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, New York: Dover, ISBN 0-48661272-4. W. W. Bell.(2004), Special Functions for Scientists and Engineers (Dover Books on Mathematics).

PRML Chapter3’s Exercise 3.16 問題 式 (2.115) の結果を利用して、式 (3.77) が式 (3.86) になっていることを証明せよ。 Z p(t|α, β) = p(t|w, β)p(w|α) dw

p(t|α, β) = αM/2

¡ β ¢N/2 1 exp 2π |A|1/2

½

1 − (β||t − ΦmN ||2 + αmTn mN ) 2

(3.77)

¾ (3.860 )

回答 式 (3.77) の中に：

p(t|w, β) =

N Y

N (tn |wT φ(xn ), β −1 ) = N (t|Φw, β −1 I)

n=1

4

(17)

式 (1)、そして式 (3.52) を式 (3.77) に代入すると以下になる。 Z p(t|α, β) = N (t|Φw, β −1 I)N (w|0, α−1 I) dw

= N (t|0, β −1 I + α−1 ΦΦT ) =

1 1 exp (2π)N/2 |β −1 I + α−1 ΦΦT |1/2

½

¾ 1 − tT (β −1 I + α−1 ΦΦT )−1 t 2

(18)

式 (2) と式 (3.86’) の等価性について証明する。 まず exp の部分について証明する。

β α β α (t − ΦmN )T (t − ΦmN ) + mTN mN = (tT t − 2ΦmN t + mTN ΦT ΦmN ) + mTN mN 2 2 2 2 β T 1 = (t t − 2tT βΦA−1 ΦT t) + β 2 (A−1 ΦT t)T AA−1 ΦT t 2 2 β T 1 2 T = t t − β t ΦA−1 ΦT t 2 ½2 ¾ 1 T =− t − βI + βIΦ(αI + βΦT Φ)−1 ΦT βI t 2 ½ ¾−1 1 T −1 −1 T =− t − β I − Φα IΦ t 2 ½ ¾−1 1 t = tT β −1 I + α−1 ΦΦT 2 (19) 下から二番目の等式成立する理由は式 (C.7)。以上は exp の部分を証明できる。 係数の部分について証明していきたい。

|α−1 I(M ∗M ) ||β −1 I(N ∗N ) ||A| = |α−1 I(M ∗M ) ||β −1 I(N ∗N ) ||αI(M ∗M ) + βΦT Φ| = |β −1 I(N ∗N ) ||I(M ∗M ) + α−1 βΦT Φ| = |β −1 I(N ∗N ) ||I(N ∗N ) + α−1 βΦΦT | = |βI(N ∗N ) + α−1 ΦΦT | 下から二番目の等式成立する理由は式 (C.14)。そして全体では式 (C.12) を利用した。

5

(20)