Prml P184-p189

PRML p184-p189

内容 • Least squares for classification – クラス分類ための最小二乗法

• Fisher’s linear discriminant – フィッシャーの線形判別 – LDA 6.4 線形判別法 ： 2クラスに対する線形判別法（フィッシャーの方法）

回帰の最小二乗法(第3章) • 線形モデル

• パラメータwの求め方 – 二乗和誤差関数：

∂ED (W) ∂W

=0

w=…

分類の場合 • Kクラス、ベクトル tは1of K形式の場合 – 最小二乗法を利用する理由として： • 入力ベクトルx がわかるとき、t に関する 条件付き 期待値 E[t|x] を近似できる

– 条件付き期待値は各クラスの事後確率からな るベクトル – しかし、線形モデルの柔軟性の問題で、分布 の近似は悪い、近似値は(0,1)から外れる場合 がある

クラス分類ための線形モデル • 各クラスこと一つの線形モデル、例えば Ckの場合

• K個の式をまとめると以下のようになる 式(4.14)中： w ˜ k = (wk0 , wkT )T

˜ = (1, xT )T x

• 分類を行うとき ˜ kT x ˜ 最大のクラスkに配属する – 入力xは yk = w

二乗和誤差関数 • 二乗和誤差関数 – 学習セット： {xn , tn }

式(4.15)中： 

tT 1



  T =  ...  tT N

N*K次元

n = 1, . . . , N



˜T x 1



..  ˜ = X  .  ˜T x N

N*(D+1)次元

 ˜ ˜1 W= w

...

˜K w

(D+1)*K次元



の求め方 • 二乗和誤差関数 ˜ ∂ED (W) ˜ ∂W

=0 C.24,C.25,C.27を利用して

• 線形のモデルに代入すると式(4.17)になる

性質 • もし学習セット中のすべてのtnについて以下 の式が成り立つ – 予測を行う場合、任意の入力xについて同じよう な式が成り立つ 問題4.2

– つまり、 1of K形式の場合、任意のxに対して y(x)の成分の和は1になる。ただし、各成分の値 は(0,1)になる拘束が含まれていないため、確率 として扱えない

性質 • 最小二乗法はclosed-formの解 • しかし、ある決定を下すことや確率的な解 釈が求められる判別関数として以下の場 合問題がある – 外れ値に影響されやすい – 頑健性が欠けている

外れ値の影響 4

4

2

2

0

0

−2

−2

−4

−4

−6

−6

−8

−8

−4

−2

0

2

4

6

8

−4

−2

0

2

4

6

最小二乗法を利用した線形識別器 ロジスティック回帰(4.3.2節)

8

頑健性 6

6

4

4

2

2

0

0

−2

−2

−4

−4

−6 −6

−4

−2

0

2

4

6

最小二乗法を利用した線形識別 器

−6 −6

−4

−2

0

2

4

ロジスティック回帰

6

原因 • 最小二乗法は条件付き関数が正規分布と仮定 する場合の最大尤度に関係がある – しかし、ターゲットベクトルtに関する分布は正規分布 でないことが明らかだ

• もっと適切な確率モデルを利用することで、最小 ２乗誤差法より性質がいい手法を考えことができ る • 続きでは、非確率手法を用いて線形識別器のパ ラメータを決める手法を紹介する

線形モデルについて • 線形判別モデル：一種の次元削減方法 • 2クラス、x:D次元ベクトルの場合： T

y =w x

(4.20)

• 分類を行うとき

y ≥ −w0

x ∈ C1

ほかの時

x ∈ C2

• 一般的に1次元への射影とともに元の情報が失う。そ してデータはD次元のとき分離できるが、1次元になる と重なる。このため、wを調整して、クラス間の分離を 最大化することが考えられる

フィッシャーの線形判別 C1 : N1

C2 : N2

• クラス内平均

• 投影されたクラス内平均の差を最大化するwを求 める 式(4.22)中に

mk = w T mk

フィッシャーの線形判別 • wについての拘束が必要 • Lagrange未定乗数法を利用して

D L = w (m2 − m1 ) + λ( i=1 wi − 1) T

∂L ∂w

=0

w ∝ (m2 − m1 )

結果 4

4

2

2

0

0

−2

−2

−2

2

6

(m2 − m1 ) を最大した場合

−2

2

6

フィッシャーの方法を用いた場合

フィッシャーの線形判別 投影された後の各クラス 間の平均の差への配慮

+

投影された後の各クラス内の分 散への配慮

• 投影された後の各クラス内の分散

• フィッシャーの基準

フィッシャーの基準を最大化するwを求める

フィッシャーの線形判別 • 式(4.25)に式(4.20),(4.23),(4.24)を代入すると：

• その中 – クラス間共分散行列：

– クラス内共分散行列：

wの求め方 ∂J(w)/∂w = 0

scalar

式(4.27)から、SBWの方向は(m2-m1)と一致

性質 • フィッシャーの線形判別は一つの投影方向 を探す方法、正確では線形判別といえな い。ただし、判別 を作ることができる。 – 例えば閾値を設ける – クラスことの分布 P (y|Ck )を正規分布としてモデ リングを行う

性質 クラスことの分布P (y|Ck )を正規分布としてモデリングを行う場合 4

1.5.1節の内容を利用して適 切な閾値を決める

2

正規分布仮定の根拠は

0

中心極限定理 母集団がどのような 母集団がどのような分布 がどのような分布を 分布を持っていても， っていても， そこから取 そこから取り出した標本 した標本の 標本の算術平均は 算術平均は正規 分布にしたがう 分布にしたがう

−2

−2

2

6