c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
xT β + β0 = •0
xT β + β0 = •0
• •
••
•
•
•
••
••
∗
• ξ4
•
••
M=
1
β
•
margin
•
••
•
M=
1
β
∗
• ∗
• ξ3
ξ1
•
• ∗
••
• ξ2
•• • •
•
• •
• ∗• •
ξ
• 5•
M=
••
M=
1
β
margin
1
β
FIGURE 12.1. Support vector classifiers. The left
panel shows the separable case. The decision boundary
is the solid line, while broken lines bound the shaded
maximal margin of width 2M = 2/β. The right panel
shows the nonseparable (overlap) case. The points labeled ξj∗ are on the wrong side of their margin by an
amount ξj∗ = M ξj ; points on the correct side have
ξj∗ = 0.P The margin is maximized
P ∗subject to a total
ξj is the total disbudget
ξi ≤ constant. Hence
tance of points on the wrong side of their margin.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. ..Training
. . . . . . . . Error:
. . . . . . 0.270
......
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.288
... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
Bayes Error: 0.210
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. o
............................
o o
.. .. o
.. .. ... ...o
. . . . . .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. .. .. ...o... ... ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.. .. .. ..o
. . . .. ..o
......................................
o
..o
.. .. .. ... ... ... o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o o oo
o
.
.
.
.
.
.
.
.
.
o ... ... ... ...o... ... ... ... ... .... .... .... .... .... .... .... .... .... ....o....o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
. .o
. . .•.. o
. . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. o
.. .. o
.. .. .. .. .. .. .. .. .. ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
o
o...o... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... o
o
• oooooo.... o.... .... .... .... o.... ....oo.... o.... .... .... .... ....o.... .... .... .... ....oo.... .... .... ....... ....... ....... ....... o....... ....... ....... .......oo....... ....... .......o....... ....... ....... ....... ....... ....... .......o....... ....... ....... ....... ....... ....... .......o.......
o
..o
.o
. .. .. .. .. .. ..o
.. .. .. ..o
.. o
.. .. .. .. .. .. ..
oo....o.... .... o....o.... o.... .... .... .... .... .... .... ....o.... o
... ... ... ... ... ... ... ... ... ... ... ... o
.. ... ...o
.. .. .. .. o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
o
o....o....o.... .... .... .... .... .... .... o.... o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
.. .. .. .. ..o.. .. .. .. .. ..o
..o.. .. ..o... ...o
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
.. .. .. .. .. ..o.. .. .. ..o.. .. .. .. .. .. ..o
. . . . . . .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... ... ... ... ... ... ... ...
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. o
. . . . .. .. .. .. o
. . .. .. .. .. .. o
. . . . .. .. .. .. .. .. .. ... ... ... ... ... ... o
.. .. .. o
.. .. .. ..o
.. ... ... ... ... o
.. o
.. .. .. ... ... o
.. o
.. .. .. .. ... ... ... ... o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o .... .... .... .... .... .... .... .... o.... .... .... .... .... .... ....o.... ....o.... .... o....oo.... .... .... o.... .... .... ....o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
..o
.. .. .. .. .. .. o
..o..o.. ..o
.. .. o
.. .. .. .. o
.. .. .. .. .. .. .. .. .. ..•
. . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. o
.. .. .. .. o
.. .. .. .. .. .. .. .. .. ... ... ... ... ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ...o... ... ... ... ...o...o
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o... ... ... ... ... ... ... ... ... ... ... ... ... ... ...o... ...oo... ... ... o
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
. . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. ..o
o .... .... ....o.... .... ....o.... .... .... ....o.... .... .... o.... .... .... .... .... .... .... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
. . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. ..o
..................
.. .. .. .. .. ... ... ... ... ... ... ... ...o... ... ... ... ... ... o
.o. . . . . o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.. o
.. o
.. .. .. .. ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. . .. ... ... ... ...o
.....................
.. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... ...o
.. .. ... ... ... o
. . . . .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o
.. ..
.. ..
..
..
..
.
.. ..
.. ..
..
.. ..
.. ..
..
..
..
.
.. ..
.. ..
..
.. ..
.. ..
..
.. ..
.. ..
..
..
..
.
.. ..
.. ..
..
.. ..
.. ..
..
..
..
.
.. ..
.. ..
..
.. ..
.. ..
..
..
..
.
.. ..
.. ..
..
.. ..
.. ..
..
.. ..
.. ..
..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
................
o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
C = 10000
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. ..o
. . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... o
............................
.. ..o
.. .. .. .. ..o.. .. .. ..o
. . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. ..o
.. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o o o
o
.. .. .. ..o
. . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.o
. . . .. .. .. o
........................................
o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
•
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
. .o
. . . .. o
. . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. o
.. .. o
.. .. .. .. .. .. .. .. .. ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... o
..................
o
o
o...o... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... o
.. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. ...o... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ...o
o
o o .. .. .. .. .. o.. ..o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o.. .. .. .. .. .. .. o.. .. .. ..o.. .. ..o.. .. .. .. .. .. .. .... .... .... .... .... .... .... ....
oooooo.. o
. . . . . .o.. .. .. .. .. .. .. ... ... ... ... o
.. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . . .o.
o
..o
.. o
..o
.. ... ... ... ... ...o
o....o..... ..... o.....o..... o..... ..... ..... ..... ..... ..... ..... .....o..... o
.. o
.. .. .. .. .. .. .. .. .. .. .. .. o
.. ... ... ... ... ... ... ...
. .. .. .. ..o
.. .. .. .. ... ... ... o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
.. .. .. .. ..o.. .. .. .. .. ..o
..o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o
o
o
...o... ... ...o... ...o
.. .. .. .. .. .. .. .. .. .. ..o
.. ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. o
.. .. o
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. .. .. ...o
.. ..o.. .. .. .. .. .. .. .. .. .. ..
o.. ..o.. o.. .. o.. .. .. .. o.. .. .. .. .. .. .. .. .. ... ... ... ... ... o
.. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... o
o
.. .. .. o
.. .. .. ..o
.o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. ... ... ... ... ... ... ...
o
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o .... .... .... .... .... .... .... o.... o.... .... .... .... .... .... ....o.... ....o.... .... o....oo.... .... .... o.... .... .... ....o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
. . . . . . . .o
..................
o ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
..o.. .. .. .. .. .. .. .. ..o
o.. .. .. .. .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o
... ... ... ... ... ... ... ... ... ... ... ... ... o
... o
... o
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. .o
. .. .. .. ..o
.....................
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ...o
. . .. .. .. o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. Error:
.. .. .. .. .. .. 0.26
.. .. .. .. .. ..
... ...Training
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..Test
.. .. .. .. Error:
.. .. .. .. .. .. .. .. .. .. 0.30
......
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
Bayes Error: 0.21
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
...............................................
o
C = 0.01
FIGURE 12.2. The linear support vector boundary for the mixture data example with two overlapping
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
SVM - Degree-4 Polynomial in Feature Space
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
•
.. .. o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. ... ... ... ...o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. ..o
o o
• .... ....o•o.... ....o.... .... ......o...... ...... ...... ......o...... ...... ...... ...... ...... ...... ...... ......o•...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ......
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.. .. .. ..o
. . . .. ..o
......................................
o
.o
. . . .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... o
•
•
o o o....o.... .... o
•. . . . . . .
.. .. .. .. .. .. .. .. .. .. ..o
.. o
.. .. .. .. o
.. .. .. .. .. .. .. .. ..o.. .. .. .. ... ... ... ... ... ... ... ...o
.. .. .. .. .. .. ..o
. .. .. .. .. .. .. ..
o o .. .. .. .. .. o.. ..o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. o
.. .. .. .. ... ... ... o
o
•
o
.. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
•
o
o
o
.. .. o
. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . . .o.
o
ooo.....o..... ..... o.....o..... o..... ..... ..... ..... ..... ..... ..... .....o..... o
..o
. ...o
. ..o
. . . .o
. . . .. o
. . . . .. .. .. .. .. .. .. .. o
. .. .. .. .. .. .. ..
. ... o
. ...o
.•... ... ... ... ... ... ... o
. ... ... ... ... o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o
o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. ..
..o.. .. ..o.. ..o
... ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ...o
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
.. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... o
.. .. .. •
.. .. .. .. .. o
.. .. .. .. .. .. .. .. o
.. ... ... ... ... ... ... o
•... ... ... ... ... ... ...
.
.
.
.
.
.
.
.
.
.
.
.. .. .. o
.. .. .. ..o
.. .. .. .. .. o
.. o
.. .. .. .. .. o
.. o
.. .. .. .. .. .. .. .. o
.. .. o
.. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ...
o
•
o .... .... .... .... .... .... .... o.... o.... .... .... .... .... .... ....o.... ....o.... .... o....oo.... .... .... o.... .... .... ....o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
o
• ..... ..... .....o..... .....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... o.....o..... ....... ....... ....... ....... ....... ....... ....... .......oo•....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... .......
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.. .. .. ..o
.. .. o
.. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.180
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.245
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.210
.. .. .. .. .. ..
o
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
...
..
.
.. ..
... ...
..
.. ..
... ...
..
..
...
.
.. ..
... ...
..
... ...
..
.. ..
...
.
..
... ...
..
.. ..
... ...
..
.. ..
... ...
..
.. ..
...
.
..
o
... ...
..
.. ..
... ...
..
.. ..
...
.
..
... ...
..
.. ..
... ...
..
.. ..
... ...
..
.. ..
...
.
..
... ...
..
.. ..
...
.
..
SVM - Radial Kernel in Feature Space
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
•
.. .. o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. ... ... ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. ..•
. . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. ..o
.. .. o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o
.. .. o
.. .. .. ..o
. . . . . .. .. .. .. .. .. .. .. •
............................
.. ..o
.. .. .. .. ...o... ... ... ...o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
•
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o o
o
• o ......o...... ...... ......oo...... ...... ......o...... ......o...... ...... ...... ...... ...... ...... ...... ...... ...... ......o......o...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ......
o
• oo
. . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. .. .. ..
o ..... ..... ..... .....o..... ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... .....o
o... ....o.... o.... .... .... .... .... .... .... .... .... .... .... .... ....o
.. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..•
•
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
•o o o....o.... .... ....o•.... .... ....o.... o.... .... .... .... ....o•.... .... .... ....o....o.... .... .... o.... .... .... .... .... .... .... ....o.... .... .... .... ....... ....... ....... ....... ....... .......o.......o•....... ....... ....... ....... ....... ....... .......
oooo
•ooo...... o...... ...... o...... ...... oo...... ......o...... ...... ...... ...... ...... ...... ...... o......o...... o......o...... o......o...... ...... ...... ......o...... ...... o...... o......oo...... ......o...... ...... ......o...... ...... ...... ...... ...... ...... ...... o...... o•...... ...... ...... ...... ...... ......o......
o
•
..o
. . .o. . o
.....o
.. .. .. o
.. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
... ...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o
•
.. ... ... ... ...o... ... ... ... ... ...o
o
..o.. ... ...o
... ...o
... ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
•..o.. .. .. .. .. .. .. .. .. .. .. .. ..
. .. .. .. .. .. .. .. .. .. ..o
o
o
•
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o.. ..o.. o.. .. o.. .. .. .. o.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . . . . . .. .. .. .. ..o.. .. .. .. ... ... ... ... ... ... ...
.. .. .. •
.. .. .. .. .. o
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... o
.......
.. .. .. o
.. .. .. ..o
.. .. .. .. .. o
.. o
.. .. .. .. .. .. .. .. o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o... ... ... ... ... o... o
•
o
•
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o ... ... ... ... ... ... ... ... o... ... ... ... ... ... ...o... ... ... ... o...o... ... ... o... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
•o... ... ... o... o•..... ..... ..... ..... ..... ..... ..... .....o•..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....o
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. ... ... ... ... o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
• .... .... ....o.... ....o.... .... .... .... .... .... .... .... .... .... .... .... ..... ..... o.....o..... ...... ...... ...... ...... ...... ...... ...... ......o...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ...... ......
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. ..•.. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. . . .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... ...o
.. .. ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. ..•.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
•
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. •
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.160
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.218
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.210
.. .. .. .. .. ..
o
•
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
...............................................
o
•
FIGURE 12.3. Two nonlinear SVMs for the mixture data. The upper plot uses a 4th degree polynomial
3.0
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
1.5
0.0
0.5
1.0
Loss
2.0
2.5
Hinge Loss
Binomial Deviance
Squared Error
Class Huber
−3
−2
−1
0
1
2
3
yf
FIGURE 12.4. The support vector loss function
(hinge loss), compared to the negative log-likelihood loss
(binomial deviance) for logistic regression, squared-error loss, and a “Huberized” version of the squared hinge
loss. All are shown as a function of yf rather than
f , because of the symmetry between the y = +1 and
y = −1 case. The deviance and Huber have the same
asymptotes as the SVM loss, but are rounded in the interior All are scaled to have the limiting left-tail slope
of −1.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
LR - Degree-4 Polynomial in Feature Space
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. ..o
. . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o
.. .. o
.. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... o
............................
.. ..o
.. .. .. .. ..o.. .. .. ..o
. . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o o o
.. .. .. ..o
. . . .. ..o
......................................
o
.o
. . . .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o o....o.... .... o....o.... .... .... .... .... .... .... .... .... .... .... .... ....o..... ..... ..... ..... o
.. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..
.
.
.
.
.
.
.
.
.. .. .. .. .. .. ..o
.. .. .. .. .. .. .. ..
o
o o .. .. .. .. .. o.. ..o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. o
.. .. .. .. ... ... ... o
o
o
oooooo.. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...o...
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. o
.. .. .. .. .. .. ..
o
o...o... ... o...o... o... ... ... ... ... ... ... ...o... ...o... ...o... ...o... ... ... ...o... ... ... o... o
.. .. .. .. .. .. .. .. o
... ... ... ... o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o
o
o
o
.. .. .. .. .. .. .. .. .. .. ..o
..o.. .. ..o.. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o.. .. .. ..o.. .. .. .. .. .. ...o
.............
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
. . . . . . .. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. o
.. ... ... ... ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
.......
.. .. .. o
.. .. .. ..o
.. .. .. .. .. o
.. o
.. .. .. .. .. .. .. .. o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o... ... ... ... ... o... o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o ... ... ... ... ... ... ... ... o... ... ... ... ... ... ...o... ... ... ... o...o... ... ... o... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
. . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
.. .. .. .. .. .. .. ..o
..................
o ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
..o.. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. . . .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... ...o
.. .. ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... o
. .o
.................
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.190
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.263
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.210
.. .. .. .. .. ..
o
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
... ...
..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
o
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
..
..
..
LR - Radial Kernel in Feature Space
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.150
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.221
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.210
.. .. .. .. .. ..
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
............................
o o
.. .. o
.. .. .. ..o
. . . . . .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. .. .. ...o... ... ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.. .. .. ..o
. . . .. ..o
......................................
o
.o
. . . .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o o....o.... .... o....o.... .... .... .... .... .... .... .... .... .... .... .... ....o..... ..... ..... ..... o
.. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..
.
.
.. .. .. .. .. .. .. ..
.
.
.
.
.
.
.. .. .. .. .. .. ..o
o
o o .. .. .. .. .. o.. ..o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. o
. .. .. .. ... ... ... o
o
.
o
oooooo.. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...o...
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. o
.. .. .. .. .. .. ..
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o...o... ... o...o... o... ... ... ... ... ... ... ...o... ...o... ...o... ...o... ... ... ...o... ... ... o... o
.. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. o
.. ..o
.. .. .. .. .. .. .. .. .. ... ... ... ... o
.. .. .. .. ..o
.. .. .. .. .. o
o
o
.
.
.
.
.
.
.
.
.
.
o
. . . . . . . . . . .o
.o. . .o. .o
..o
.. .. .. .. .. .. .. ... ... ... ... ... ...
... ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ...o... ... ... ... ... ... ... ... ... ... ...
. . .. .. .. .. .. o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. o
.......
.. .. .. .. .. .. .. .. o
. . . . . .. .. .. o
.. o
.. .. .. .. ... ... ... ... o
.. .. .. o
.. .. .. ..o
.. .. .. ... ... o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o... .... .... .... .... o.... o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o ... ... ... ... ... ... ... ... o... ... ... ... ... ... ...o... ... ... ... o...o... ... ... o... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
. . . . . . . .o
..................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..o.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. . . .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... ...o
.. .. ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
...............................................
o
FIGURE 12.5. The logistic regression versions of the
SVM models in Figure 12.3, using the identical kernels
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
Test Error Curves − SVM with Radial Kernel
γ=1
γ = 0.5
γ = 0.1
0.30
0.25
0.20
Test Error
0.35
γ=5
1e−01
1e+01
1e+03
1e−01
1e+01
1e+03
1e−01
1e+01
1e+03
1e−01
1e+01
1e+03
C
FIGURE 12.6. Test-error curves as a function
of the cost parameter C for the radial-kernel SVM
classifier on the mixture data. At the top of each
plot is the scale parameter γ for the radial kernel:
Kγ (x, y) = exp −γ||x − y||2 . The optimal value for C
depends quite strongly on the scale of the kernel. The
Bayes error rate is indicated by the broken horizontal
lines.
1.5
10
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
9
4
1.0
8
9
8
11
f (x) = +1
f (x) = 0
10
5
1/||β||
3
λ
0.5
6
7
0.0
4
12
8
1
f (x) = −1
11
−0.5
2
2
6
6
2
7
10 12
3 5
0
−1.0
1
4
−0.5
0.0
0.5
1.0
1.5
2.0
0.0
0.2
0.4
0.6
0.8
1.0
αi (λ)
FIGURE 12.7. A simple example illustrates the SVM
path algorithm. (left panel:) This plot illustrates the
state of the model at λ = 0.05. The ‘‘+1” points are orange, the “−1” blue. λ = 1/2, and the width of the soft
margin is 2/||β|| = 2 × 0.587. Two blue points {3, 5}
are misclassified, while the two orange points {10, 12}
are correctly classified, but on the wrong side of their
margin f (x) = +1; each of these has yi f (xi ) < 1.
The three square shaped points {2, 6, 7} are exactly on
their margins. (right panel:) This plot shows the piecewise linear profiles αi (λ). The horizontal broken line
at λ = 1/2 indicates the state of the αi for the model
in the left plot.
8 10 12
6
2
4
VH (r)
3
2
1
0
V (r)
4
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
-1
-4
-2
0
r
−c
0
− 2
4
-4
-2
c
0
r
2
4
FIGURE 12.8. The left panel shows the -insensitive
error function used by the support vector regression machine. The right panel shows the error function used in
Huber’s robust regression (blue curve). Beyond |c|, the
function changes from quadratic to linear.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
o
o
o
o
2
o
o
0
-2
o
o
o
o
o
o
o
o
o
o
o
o
o oo
o
o
o
oo o o
o ooo
o
o
oo
o
o
o o
oo
o
oo
o
o o oo
oo
oo
o
o
o
o oo
o o
o
o
o
o
o o
o
o
o
o
oo o
o
o
o oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
-2
0
2
FIGURE 12.9. The data consist of 50 points generated from each of N (0, I) and N (0, 94 I). The solid black
ellipse is the decision boundary found by FDA using
degree-two polynomial regression. The dashed purple
circle is the Bayes decision boundary.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
Linear Discriminant Analysis
o o oo
ooo
oo
o
o o
ooooooo oo
ooooooo o
o
o
o
o
o
o
o
o
o
o
oo o o
o oo
ooo o
oo
o
oo ooo o
oooo o
oooo
o
o o ooooo o
o o oo
o
oo ooooo o
oo o ooo
o
o
o
o oo o
o
o
o
o
oo o oo
ooo oo oo ooo oo o o
ooo
o
o
o
o
o
o
oo o
o
o
o
o
oo o ooo oo oo o o
o o
o oo
o o ooooo oo o
ooo o ooo o
oooo o o o o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooooooooo o oo ooo
o o
ooo ooo ooooo o o ooo oo o ooo
o oo ooo o ooo
oo
oo
o
oo o
oo o
oooo
o oo
o
o
o
ooo o
o o ooo
o
o
oo o
oooo
ooooooo o
oooooo
o
ooooo o oo
o
oooo
o o oooo o o o o o
o
o
o
o
o oo
o
o
o
o
o oo
o o o oo
oo
oo o
ooooooo oo o
o
oo o
o
o
oo
o
o
o
o
o
o o
o
o
o oo o ooooooo
oo
o oo
o
o ooo
oo o
o
oo
oo o o o
o
o
o
ooo
oo o
oo
o o oo
oo
o oo oo o
o
o o oooo
o o
oo
oo o
oo o oo oo o oooo
o
o
o
oo
o
o
o
o
Coordinate 1 for Training Data
Coordinate 2 for Training Data
Coordinate 2 for Training Data
oo
ooo
oooo
oo
oo
Flexible Discriminant Analysis -- Bruto
o
ooooo o
oo oooo ooo
ooooo o oo
o
o ooo o
ooooooooooooo o o
o
o
o
o oo oo
o o
o o oo oo
ooo o
ooo oo o ooooo oooo o
o
oo
o
o oooo
o
oo
oooo oo oo
o o o
ooo
o
o
o
oo o
ooo ooo
o oo o o
o
oo oo ooo o
ooooo oooooooooooo o ooo
o o
o
o
oooo o
o
oo
o
o
o ooo o o oo o o oo oooo
oo o
o
oo
o
oo
o o
o oo
oooooooo o oo o o
ooo
o o oooooo
oo
o oo o ooo
o
o
o
o
oooo oooooooo oo
oooo o
oo
o oo o oo ooo ooo
oooooooo
oo oo
o
o oo o oo
o ooo
o
ooo oo
oo
o
ooo
o
o
o
ooooooooooo
oo oo o
o
oo
o
o
ooooo
o oo
ooo
o ooooooo o
oooo o o o
oo
ooo o
o
o ooo ooooooooooooo
oo
oo o
ooooo
o
oo ooo
o o
o
o oooo
o
oooooooo
o
o
o
o
o
o
o oo
o
oo
oo ooo
o oo o
oo o
o o o o o ooo
o o o oo oo oo
o
ooo
o
o
o oooo o
o
Coordinate 1 for Training Data
FIGURE 12.10. The left plot shows the first two
LDA canonical variates for the vowel training data.
The right plot shows the corresponding projection when
FDA/BRUTO is used to fit the model; plotted are the
fitted regression functions η̂1 (xi ) and η̂2 (xi ). Notice the
improved separation. The colors represent the eleven
different vowel sounds.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
LDA: Coefficient 1
PDA: Coefficient 1
LDA: Coefficient 2
PDA: Coefficient 2
LDA: Coefficient 3
PDA: Coefficient 3
LDA: Coefficient 4
PDA: Coefficient 4
LDA: Coefficient 5
PDA: Coefficient 5
LDA: Coefficient 6
PDA: Coefficient 6
LDA: Coefficient 7
PDA: Coefficient 7
LDA: Coefficient 8
PDA: Coefficient 8
LDA: Coefficient 9
PDA: Coefficient 9
FIGURE 12.11. The images appear in pairs, and
represent the nine discriminant coefficient functions
for the digit recognition problem. The left member of
each pair is the LDA coefficient, while the right member is the PDA coefficient, regularized to enforce spatial
smoothness.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
6
6
2
0
-2
-6
-4
PDA: Discriminant Coordinate 2
4
6
6
6
66
6
6
6 6 1
1
66
6
6
1
66
11
0
6
1 1 11 1 1
6
6 6
1
66 6666 66 6666
1
56
1 1
1
6 6
6
6
1 1 1 111111 1
2
66 666 6
0
6
6
6
1111111
1
66
66
1 11111
6 66
1 11
111
1
6
6 62 56
1111
1
0 5 0
11
11
11111
1111
0 6666066
1
11
1111
1
6
1
1
0
1
6
0 0 0
1 11111
111
0
666666 6
11
1
6
11111
1
1
0
0
6
6
4
1
0
6
2
1
1
5 66 6666 66 66
1
5
02
1
1
1
6
1
1
1
6
6
1
1
5
1
0
1
1
0
1
11 11 1
1
0
0
1 1111111
6
11111
66 0 6
111111
6
0 00 0 000 06 66
1
11111
66
11 11 1
666 6 6 6666
6 6
1 11
1
0
1
2
2
1
6
5
0
0
0
6
1
1
0
1
5
0
6
111
0
1
0
1
0 0 0 0 000
1
111111
56 6
1111 1111
1
5
6 6 568656 6 5 5 0 2 6
2
1
6
1
0
1
0
1
0
0
1
1
0
0
0
00 0 0000000
1
0
0
0
1
1
56
65
0 00 00000 066
11 11
0 562
562
5
5
6
2 8 2
5
0 0000
1 111 11 1 1 1
0
000 00
65 6
15
000 00
0
0000 00
4
0020066
0
58 5444
1
0 66 665 2
0
0
4
8
11 11 1
8
0
5
00 0
0
6
0
0
6
0
2
0000 00000 0
6
8
006008 02 55 565256
55
1 1 11111 11 1 1
5
2
5
2
2
0 0 0000 0
0000
6
00000
00000000000
5
6
0
0
55
2
0
0
0000000000 02
5 06
1
588 2 52 2
4
0 000
00000
000 0
020 5 0065 2226555555583
4
0 000000
0
1
5 5
0000000
4
0
00 00656
0 000000000
565 5552 55
322556 42 2 4
1
5
5
0
0
0
5
0
0
0
0
0
8
0
0
0000 0 00 0 0 00 5
6
2
2
2
5
6
8
5
00
2
5
0
5
3
2
2
2
6
5
3
5
0
0
2
2 2
000 00000 00 000550 4000 5 585 625325555 56 8 5
1
5 8 5 5885
4
852
6 00
0 00 000 0 000
1
35 823 8
25530
5 428258585552332 454 8283 8232
6 4
508
5
0 0 0 0 0 0
08032505
8 8225
0
288 258 2
1 11
5 22
22
5
8
2
2
2
2
0
2
2
5
0
2
5
5
2
0
2
0
1
00 0
22 252 382
22
25828
522
3
30
2
3
00
3
2
3 8 82
5 2
2625832
22
83
7
0
48
0
53282
22355
8
0 58 832 2858
2
1 7
32
558
2 888
82
55
4
35222 82
5
0
282 582 242
4
5426
00
83 388
822
2
82
2
5
28
580032 05 0
88 8 8 8 8 4
8
2
8
8
2
5
3
3
8
2
4
0
2
2
8
0
0
8
5
2
0 80
53845350223
8 4
48
0
8838525 838253
338323
338238282882 2 84 8228
9 1
914
2 28
8
84 4
0 4 88 83 2 3
48332253
5882535
888
283
22
3
223
2 822 3
2
3
8
8
8
8
4
3
0
8
4
8
3
7
3
8
2
3
3
0 0
325 25
834
4
548 8 282
22222
8
5
3
8
5
3
0
3
2
2
9
3
8
8
3
2
83822
8 89
2 32
43282484
8888 348383
1 8 9
3
84484
3
2353 23
4
84 9 4 44 9 5 44 1 4
8
8 3338 38
84733
8328
24
3833283
333333
4
1
8 30
9
4
3
8
3
4
81
5
9
4
4
3
435 343
4
33
4
944
2235 4494 8499 9 94
35 74 3 4 333
330
323332364 38 4
4
3
3
4
9
4
4
0
0
3
8
9
4
3
3
4
7
3
4
3
4
0
9
4
3
3
4
4
3
7
3
2
2
4
4444444 9409
33
4489 9 9 99
8 4 842734334
4
333 34
37444444 9 99 4
23 234
4 73 7
93
4
8
4
47
4 473
3 7 7849737
449 9 9 94
3
4
4
4
7
4
9
9
4
4
2 47 7 9494479
3 4
7
4345
3
9 4
99
9 944474349777447
7 7792949 9949 7 7
4 4 33 7 4 999
7
4
9
4
9
4
9
9
4
7
9
97 7
497947
45749 9794
9
4
47784
9
4 4
4 4 7
7 4
7
949499
9
7
9779
4997494
499
799974797979 9
9
9774
44 7 7
99
9
7
97
9
7
4
7
7
9
9
9
4
4
9
9
47749 947 779 9
3
9
4
799999 997 4
9
977
4 9 77
7 7
79997
97
7
7 41 9994
77
997
97799977 9
9
7
7
9
9
7
3
7
7
7
9
7
9
7
7 991 7 79997797
9 7977777
99 9
9 977 97
977 97
799
9
7
79977
99
77
9
4 44
7
7
7
77
9 777
7
9
7 77
7
1
7
7
7
-5
0
5
PDA: Discriminant Coordinate 1
FIGURE 12.12. The first two penalized canonical
variates, evaluated for the test data. The circles indicate the class centroids. The first coordinate contrasts
mainly 0’s and 1’s, while the second contrasts 6’s and
7/9’s.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
FDA / MARS - Degree 2
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. ..o
. . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o
.. .. o
.. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... o
............................
.. ..o
.. .. .. .. ..o.. .. .. ..o
. . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o o o
.. .. .. ..o
. . . .. ..o
......................................
o
.o
. . . .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o o....o.... .... o....o.... .... .... .... .... .... .... .... .... .... .... .... ....o..... ..... ..... ..... o
.. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..
.
.
.
.
.
.
.
.
.. .. .. .. .. .. ..o
.. .. .. .. .. .. .. ..
o
o o .. .. .. .. .. o.. ..o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. o
.. .. .. .. ... ... ... o
o
o
oooooo.. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...o...
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. o
.. .. .. .. .. .. ..
o
o...o... ... o...o... o... ... ... ... ... ... ... ...o... ...o... ...o... ...o... ... ... ...o... ... ... o... o
.. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o
o
o
o
.. .. .. .. .. .. .. .. .. .. ..o
..o.. .. ..o.. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ...o
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
.. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... o
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. o
.. ... ... ... ... ... ... o
.......
.
.
.
.
.
.
.
.
.
.
.
.. .. .. o
.. .. .. ..o
.. .. .. .. .. o
.. o
.. .. .. .. .. o
.. o
.. .. .. .. .. .. .. .. o
.. .. o
.. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ...
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o ... ... ... ... ... ... ... ... o... ... ... ... ... ... ...o... ... ... ... o...o... ... ... o... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
. . . . . . . .o
..................
o ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
..o.. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.............o
. . . . .. .. o
. . . .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ...o
.. .. ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.185
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.235
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.210
.. .. .. .. .. ..
o
... ...
.. ..
..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
o
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
.. ..
..
..
..
.. ..
.. ..
.. ..
..
..
..
MDA - 5 Subclasses per Class
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
... ...Training
... ... ... ... ... ... ... ... Error:
... ... ... ... ... ... 0.17
... ... ... ... ... ...
... ...Test
... ... ... ... Error:
... ... ... ... ... ... ... ... ... ... 0.22
.. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ...
.. ..Bayes
.. .. .. .. .. .. Error:
.. .. .. .. .. .. .. .. 0.21
.. .. .. .. .. ..
o.... .... o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. .. ..o
.........................................
o
.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
............................
o o
.. .. o
.. .. .. ..o
. . . . . .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. ..o
.. .. .. .. ...o... ... ... ...o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.. .. .. ..o
. . . .. ..o
......................................
o
.o
. . . .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o oo
o ..... ..... ..... .....oo..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o.....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....
o
o ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o
o.. ...o... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. .. .. .. ..o.. .. o
.. .. o
.. .. .. ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o o o....o.... .... o....o.... .... .... .... .... .... .... .... .... .... .... .... ....o..... ..... ..... ..... o
.. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..
.
.
.
.. .. .. .. .. .. .. ..
.
.
.
.
.
.. .. .. .. .. .. ..o
o
o o .. .. .. .. .. o.. ..o
o
.. .. .. .. .. .. .. .. .. .. ..o
.. .. .. .. .. .. .. o
. .. .. .. ... ... ... o
o
.
o
oooooo.. o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
.. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...o...
o
o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o...o... ... o...o... o... ... ... ... ... ... ... ...o... ...o... ...o... ...o... ... ... ...o... ... ... o... o
.. o
.. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ...
.. .. .. .. ..o.. o
.. .. .. .. .. o
.. ..o
.. .. .. .. .. .. .. .. .. ... ... ... ... o
.. .. .. .. ..o
o
o
.
.
.
.
.
.
.
.
.
o
. . . . . . . . . . .o
.o. . .o. .o
..o
.. .. .. .. .. .. ... ... ... ... ... ... ...
... ... ... ... ... ...o... ... ... ...o... ... ... ... ... ... o
o.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... o.... .... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ...o... ... ... ... ... ... ... ... ... ... ...
. . .. .. .. .. .. o
. . . . .. .. .. .. .. .. .. .. .. .. .. .. .. o
.......
.. .. .. .. .. .. .. .. o
. . . . . .. .. .. o
.. o
.. .. .. .. ... ... ... ... o
.. .. .. o
.. .. .. ..o
.. .. .. ... ... o
.. .. o
.. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...
o... .... .... .... .... o.... o
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o
o
o ... ... ... ... ... ... ... ... o... ... ... ... ... ... ...o... ... ... ... o...o... ... ... o... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... .... .... .... .... .... .... ....
..o
. . . . . . ..o..o.. ..o
..o
. .. .. .. o
. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o
..............
.. ... ... ... ... ... ... o
. .. .. .. ... ... ... o
. . .. ... o
. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. ... o
.. ..o.. .. .. .. ...o...o
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o.... .... .... .... .... .... .... .... .... .... .... .... .... .... ....o.... ....oo.... .... .... o
.o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. ..o
.. .. .. ..o.. .. .. o
.. .. .. .. .. .. .. ... o
. . . . . . . .o
..................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
o .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....
.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. o
.. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
o. . . . . . . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. ..o.. .. .. .. ..o
.. .. .. .. .. .. .. .. .. .. .. .. .. o
.o
. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... o
.. .. .. .. .. .. o
.. .. .. .. ..o
.....................
.. .. .. .. .. .. .. .. .. .. .. .. .. o
. . . . .. .. o
. . . .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... ...o
.. .. ... ... ... o
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o
o. . . . . . . . . . . . . . . . .
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o
................
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o
•
••
••
•
••
•• ••
••
••
••
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
...............................................
o
FIGURE 12.13. FDA and MDA on the mixture data.
The upper plot uses FDA with MARS as the regression
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
Class 1
1
2
4
3
5
4
3
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
2
1
2
1
4
3
5
2
1
4
3
5
4
3
5
4
3
5
4
3
5
1
2
2
3
1
4
5
2
1
5
3
4
1
2
5
3
4
2
1
1
2
5
3
4
2
1
1
2
5
3
4
2
1
1
2
5
3
4
5
3
4
1
2
5
3
4
2
5
3
4
1
Class 2
4
5
4
5
4
5
1
2
3
4
5
4
5
1
2
3
1
2
3
1
2
3
1
2
3
1
2
3
4
5
3
2
1
1
2
3
4
5
4
5
4
5
3
2
1
1
2
3
5
4
1
2
3
3
2
1
5
4
3
2
1
5
4
5
4
3
2
1
3
2
1
5
4
5
4
3
2
1
5
4
1
2
4
3
5
1
2
4
3
5
1
2
4
3
5
1
2
4
3
5
1
2
4
3
5
3
1
2
4
5
3
1
2
4
5
3
1
2
4
5
Class 3
5
4
2
1
5
4
2
1
5
4
2
1
3
1
2
3
4
5
5
4
2
1
3
3
3
5
4
2
1
5
4
2
1
5
4
2
1
3
3
3
5
4
2
1
3
5
4
2
1
3
3
1
3
5
2
4
3
1
2
4
5
3
3
1
2
4
5
1
2
4
5
3
1
2
4
5
3
1
2
4
5
3
1
2
4
5
1
2
4
5
FIGURE 12.14. Some examples of the waveforms
generated from model (12.64) before the Gaussian noise
is added.
c
Elements of Statistical Learning (2nd Ed.) Hastie,
Tibshirani & Friedman 2009 Chap 12
3 Subclasses, Penalized 4 df
3 Subclasses, Penalized 4 df
3
33
3
3 3 3 3 3 3 2 33 3 33
3
22
3 33 3
3
1
333 2 22
33
33 33 3 3
3 3 33
3 3 33
2 23 2
3 333 33 3 3 3 3
3
32 23 2 3 2
3333 3
2
1 311
3
3
3
3
3
3
3
2
3
3
3 3 3 3 3 3 2222 3
33
23 2
33
33
2
3
31
333
32 3
22
33
3
1
22
333 3 33 33 23
322 2 2
31
3 3 3 33 3
333 33
33
3
33
2 2
3
31 3113 33
33
3333
2 3 33 32 2 2
3 1 13
3
3
3
1
3
3
1
3
1
3
33
22 2
2 33 2 2 3 3
232
3
33 3 3 113 1
33 3 3
2
1
3
2
3
11 3113 111 11 3 1
2 22 2
1 1111 1 1 1 1
2222 22
1 113
1
2
2
1
3
222 2
1 1 1 111 111 1111
2
1 1
2 2
2
2
1 1
1 11 1
22 2
2
1
1
22 2
1 1 1
22
3
111111
2 22 2
1
1
1 2 1
2
1 11
2
2
2
11 1 1
2
1
1
11 1
2
1 1
22 2
1 1 11
22 2
1 111 11111 1
1
222 22
2
1
2
1 1 11 1 1 2 2 2 22 2
2
1 1 111 1 1
111 1 1
2
122 2
2 1
11
1 121212
2 22
1 121 1 1
12 2 1
1
2
11
2
1
2
2
1
1
2
2 212
1
12 22
2 2121 222 2
11 1 2
222
1
2
1 1
2
1 1 1 21
1
1
11
2
1
-6
-4
-2
0
2
Discriminant Var 1
4
-1.0
1 2
0.5
2
0.0
3
3
3
1
1.0
3
Discriminant Var 4
2
0
-2
-6
-4
Discriminant Var 2
4
3
3
32
3
3
1 3
3 31
3 2 1
1
3
31
1
2 31 3
1
3
1
3
33
3
1 2
1
3
23313 11 3
13 3 2 1
1 22
1
2
3
23
22
1
1233 2 2
2
2 3 1 3 22
3
2
3
2 2 112313 22231132 312 232 21 1 3 2
1
3
2
1
3
3
2
1
1
2
13 2 3 1 3 1 33 3 1
1 2
3
11 1 3 31
321223 32 321 31 323 21222 31 1
21
1
2 3
1
3
3
3
3
3 1 111331 1321 1 32 1
2 123
3233121 1112 32 1 233 3
3 331 311 323 3 2 2 3 13
1 112 22 32 33112211 21
1 1
321 21 222113332
2 11 2
2 3 1 33 21
31 2 3312322
1
1 11
122221232132 1 3
2
1
1 3 12
2
3
3
1
2
3
1
3
1
13 2 2
31 3 3
1232 2 3
11 121132
2
2 1
3
2
2
3
1
31
3 2 33
112221321 32 1 1
3 3233
1
31
33 131
1221 13122122
3 3
3
3
2
3
3
3
3 21 1
1 121
2 12 1 23 2 3
3
3
3
3
3
2
3
2
32 2 1
2
3
1 32 2 1 2
22
1 1
3
3
1 12 1 2
222
1
2
1 13
1
32 1
2
22
1
1
1
13 1 23 2 3 23
23
3
13
3 1
1 1 311
1
11
31 1 2 1 33
1
1 2
3
31
2
23321
3112
-2
-1
0
1
3
1
2
6
3
2
Discriminant Var 3
FIGURE 12.15. Some two-dimensional views of the
MDA model fitted to a sample of the waveform model.
The points are independent test data, projected on to
the leading two canonical coordinates (left panel), and
the third and fourth (right panel). The subclass centers
are indicated.