Prml_exercise4.3

問題4.3

問題 4.2 (www) • 式(4.15)の2乗誤差関数を最小化する場合を考える。もし学習 セットの中のすべてのターゲットベクトルは式(4.157)のような線 形拘束を満足なら、式(4.17)で得たモデルの予測y(x)もこの拘束 (4.157)を満たす。(tnは式(4.15)中の行列Tのn番目の行)

Á0 (x) = 1

Hit:基底関数中の一つ と仮定、この場合対応するパ w0 ラメータ はバイアスの機能をすることになる。

問題4.2解答(www) ~ k = (wk0 ; wT )T x ~ = (1; xT )T w k ¡ ¢ 式(4.14)中： ~ ~1 ::: w ~K W= w

式の中1はN次元ベクトル、w0 はK次元ベクトル 式(114)の右をw0 について微分すると

(w10 ; w20 ; : : : ; wK0 )T

になる

=0

その中

@ED (W) @W

その中

=0

その中

新しい入力

の予測を考える

0

1

tT B .1 C T = @ .. A

一方：

tT

N

を式(4.157)に代入する

4.3問題文 • 問題4.2の結果を拡張し、そしてもしター ゲットベクトルが同時に多数の線形拘束を 満足できた場合、線形モデルの最小二乗 推定は同じ拘束を満たすことを示す。

同時に多数の線形拘束を満足でき た場合 aT tn + b1 = 0 1 …

aT tn + bM = 0 M

Atn + b = 0 0

aT 1

1

0

1

b1 B C . C A = @ ... A b = B @ .. A aT b M

M

新しい入力

の予測を考える

0

一方：

1

tT B .1 C T = @ .. A tT

N

Atn + b = 0 を式(4.157)に代入する