Ispr P166~169

Example 6: ～ (p166~169) song

Toeplitz形式の復習 • Toeplitz形式： – Toeplitz形式は一種の相関行列(correlation matrix)Rの 近似である。 形式としては  1 ρ R=  ρ 

1

n − 1

ρ 1

... ρ    ρ  ... ρ 1  n − 1

1

(4.124より)

1

1

1 ρ もっと簡単のため： R =    ρ

n −1

ρ 1

... ρ    ρ  ... ρ 1  n −1

(4.126)

Toeplitz形式の復習 • Riを二つの行列に分ける：  R R = ρ R

ρ R  R  (r)

ci

i

(r)

i

i

ci

ci

ci

ρ 1

 1 ρ R =   ρ

(c)

i

(c)

i

−1

i

−1 ci

を計算したい。（ρ

i

( c ) n −1

   ρ   1  i

i

( c ) n −1

(r)

ρ

(c)

ci

...

i

目標は R と R

...

ρ

(c) i

と ρ は変数として扱 (c)

i

う） Wikipediaのmatrix inverseを参照(http://en.wikipedia.org/wiki/Matrix_inverse)

(4.143)

Toeplitz形式の復習 • 逆行列の計算結果： R

−1 i

=

1 1− ρ

−1

 R − ρ R  i

 1  ρ   0   0

(c)

R

1 = 1− ρ

−1 ci

i

(c)2 i

i

−1

(r)

i

−ρ

ci

(c) i

1+ ρ

−1

(r)

ci

(r)2

−ρ R   R  ci

−1

(4.144)

ci

0   0  −ρ    1 

...

(c)2 i

(c)

1+ ρ ...

−ρ

(c)2

i

i

(c) i

(4,145)

・そして式(4.128)の結果を利用して、|Ri|を計算した結果は：

| R |= (1 − ρ i

(c)2 i

)

2 ( n −1 )

(1 − ρ

(r)2 i

)

n

（4.146）

実験3,4について • 以上の近似方法の効果を確かめるため、以下の二つ実験を行う： – Bhattacharyya距離の計算 – 二次識別器のerror

• 効果は近似しないときと近似する時の具体的の計算結果の違いから論 じる。 • 実験で使う基本データは：

実験3:Bhattacharyya距離の計算 • Bhattacharyya距離の定義(全部は正規分布の場合)：

^

^

Σ+Σ | | Σ + Σ  1 1 2 µ(1 / 2) = (M − M )   (M − M ) + In 8 2  2  | Σ || Σ | そして式(4.124)により、 Σ を分解し、 RiをToeplitz形式で書い て、 Σ を近似で表すことができる。 ^

^

^

1

T

2

^

2

1

1

2

^

^

− 1

^

^

2

1

1

^ −1 i

^ −1 i

^ −1

Σ =Γ R Γ i

−1

i

−1

i

i

−1

(4.124)

2

( 3.152 )

実験3:結果

・共分散の近似はn+1個のparametersを使っている ため、値はsamplesの数によってあまり変わらない。 ・近似はないとき、値はsamplesの数によって大きく 変わる。 ・samplesの数は8800個の時、両方の値は近い。

実験4:二次識別器のerror • 新たにテスト用にデータN1=N2=4400を用意する。 • 式(4.1)を使って計算する、そのため各parametersを決める必要 がある。 P1 ω2 1 1 1 Σ ln . > X − M Σ X − M − X − M Σ X − M + ln < P2 2 2 2 Σ ω1

(

) ( T

^

1

^

1

−1

^

1

) (

) ( T

^

2

^

2

−1

^

2

)

^

1

^

2

(4.1) ・そして各テストsampleを使って実際の結果と本当の所属ク ラスが違うときerrorとみなす。 εQ として表す。

実験4:結果

・近似する場合のerrorは近似しない場合より大きい。 ・近似する場合においては、Design用のsample数の影響は 薄い。

二次識別器with Toeplitz近似の性 能について • Xは正規分布に従う場合、性能は以下のような手 順で評価できる： – Σ からRiを計算し、Toeplitz近似を行う。 – Miと Σ を使って、式(4.1)により二次識別器を設計する。 – 元のN(Mi, Σ )をテスト分布として、Errorを計算する。具 i

i

i

体的には(3.119)-(3.128)のアルゴリズムを使う。