Vũ Hữu Tiệp
Machine Learning cơ bản - Phần I
Pre-order ebook tại https://machinelearningcoban.com/ebook/
Blog: https://machinelearningcoban.com
Facebook Page: https://www.facebook.com/machinelearningbasicvn/
Facebook Group: https://www.facebook.com/groups/machinelearningcoban/
Interactive Learning: https:fundaml.com
Last update:
November 24, 2017
Contents
Phần I Kiến thức toán cơ bản cho Machine Learning
1
Ôn tập Đại số tuyến tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.1 Lưu ý về ký hiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.2 Chuyển vị và Hermitian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.3 Phép nhân hai ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1.4 Ma trận đơn vị và ma trận nghịch đảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.5 Một vài ma trận đặc biệt khác . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
1.6 Định thức . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.7 Tổ hợp tuyến tính - Không gian sinh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.8 Hạng của ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.9 Hệ trực chuẩn, ma trận trực giao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.10 Biễu diễn vector trong các hệ cơ sở khác nhau . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.11 Trị riêng và vector riêng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.12 Chéo hoá ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.13 Ma trận xác định dương . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.14 Chuẩn của vector và ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2
Giải tích ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Contents
VI
2.1 Đạo hàm của hàm trả về một số vô hướng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Đạo hàm của hàm trả về một vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3 Tính chất quan trọng của đạo hàm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Đạo hàm của các hàm số thường gặp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.5 Bảng các đạo hàm thường gặp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.6 Kiểm tra đạo hàm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7 Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3
Ôn tập Xác Suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1 Xác Suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Một vài phân phối thường gặp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
1
Contents
Bảng 0.1: Bảng các ký hiệu
Ký hiệu Ý nghĩa
x, y, N, k
x, y
X, Y
R
∈
∃
∀
xi
aij
N
C
Rm
Rm×n
AT
AH
A−1
A†
A−T
kxkp
kAkF
diag(A)
trace(A)
det(A)
rank(A)
Sn
Sn
+
Sn
++
o.w
Machine Learning cơ bản
in nghiêng, thường hoặc hoa, là các số vô hướng
in đậm, chữ thường, là các vector
in đậm, chữ hoa, là các ma trận
tập hợp các số thực
phần tử thuộc tập hợp
tồn tại
mọi
phần tử thứ i (tính từ 1) của vector x
phần tử hàng thứ i, cột thứ j của ma trận A
tập hợp các số tự nhiên
tập hợp các số phức
tập hợp các vector thực có m phần tử
tập hợp các ma trận thực có m hàng, n cột
chuyển vị của ma trận A
chuyển vị liên hợp (Hermitian) của ma trận phức A
nghịch đảo của ma trận vuông A, nếu tồn tại
giả nghịch đảo của ma trận không nhất thiết vuông A
nghịch đảo rồi chuyển vị của ma trận A
norm p của vector x
Frobenius norm của ma trận A
đường chéo chính của ma trận A
trace của ma trận A
định thức của ma trận vuông A
hạng của ma trận A
tập hợp các ma trận vuông đối xứng bận n
tập hợp các ma trận nửa xác định dương bậc n
tập hợp các ma trận xác định dương bậc n
otherwise – trong các trường hợp còn lại
www.machinelearningcoban.com/ebook
Phần I
Kiến thức toán cơ bản cho Machine Learning
Chương 1
Ôn tập Đại số tuyến tính
1.1 Lưu ý về ký hiệu
Trong các bài viết của tôi, các số vô hướng được biểu diễn bởi các chữ cái viết ở dạng in
nghiêng, có thể viết hoa, ví dụ x1 , N, y, k. Các vector được biểu diễn bằng các chữ cái thường
in đậm, ví dụ y, x1 . Nếu không giải thích gì thêm, các vector được mặc định hiểu là các
vector cột. Các ma trận được biểu diễn bởi các chữ viết hoa in đậm, ví dụ X, Y, W.
Đối với vector, x = [x1 , x2 , . . . , xn ] được hiểu là một vector hàng, và x = [x1 ; x2 ; . . . ; xn ] được
hiểu là vector cột. Chú ý sự khác nhau giữa dầu phẩy (,) và dấu chấm phẩy (;). Đây chính
là ký hiệu được Matlab sử dụng. Nếu không giải thích gì thêm, một chữ cái viết thường in
đậm được hiểu là một vector cột.
Tương tự, trong ma trận, X = [x1 , x2 , . . . , xn ] được hiểu là các vector cột xj được đặt cạnh
nhau theo thứ tự từ trái qua phải để tạo ra ma trận X. Trong khi X = [x1 ; x2 ; . . . ; xm ] được
hiểu là các vector xi được đặt chồng lên nhau theo thứ tự từ trên xuống dưới dể tạo ra ma
trận X. Các vector được ngầm hiểu là có kích thước phù hợp để có thể xếp cạnh hoặc xếp
chồng lên nhau. Phần tử ở hàng thứ i, cột thứ j được ký hiệu là xij .
Tập hợp các vector cột có n phần tử được viết gọn thành Rn . Tập hợp các ma trận có m
hàng và n cột được ký hiệu là Rm×n .
Cho một ma trận W, nếu không giải thích gì thêm, chúng ta hiểu rằng wi là vector cột
thứ i của ma trận đó. Chú ý sự tương ứng giữa ký tự viết hoa và viết thường.
5
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.2 Chuyển vị và Hermitian
Một toán tử quan trọng của ma trận hay vector là toán tử chuyển vị (transpose).
Cho A ∈ Rm×n , ta nói B ∈ Rn×m là chuyển vị của A nếu bij = aji , ∀1 ≤ i ≤ n, 1 ≤ j ≤ m.
Một cách ngắn gọn, chuyển vị của một ma trận là một ma trận nhận được từ ma trận cũ
thông qua phép phản xạ gương qua đường chéo chính của ma trận ban đầu. Toán tử chuyển
vị thường được ký hiểu bởi chữ T , t hoặc ký tự >. Trong cuốn sách này, chúng ta sẽ sử dụng
chữ cái T . Ví dụ, chuyển vị của một vector x được ký hiệu là xT ; chuyển vị của một ma trận
A được ký hiệu là AT . Cụ thể:
 




x1
a11 a12 . . . a1n
a11 a21 . . . am1
 x2 
 a21 a22 . . . a2n 
 a12 a22 . . . am2 
 




T
x =  ..  ⇒ xT = x1 x2 . . . xm ; A = 
⇒
A
=



.
.
.
.
.
... ... . ... 
. . . . . . . . . . 
xn
am1 am2 . . . amn
a1n a2n . . . amn
Nếu A ∈ Rm×n thì AT ∈ Rn×m . Nếu AT = A, ta nói A là một ma trận đối xứng (symmetric
matrix ).
Trong trường hợp vector hay ma trận có các phần tử là số phức, việc lấy chuyển vị thường
đi kèm với việc lấy liên hợp phức. Tức là ngoài việc đổi vị trí của các phần tử, ta còn lấy
liên hợp phức của các phần tử đó. Tên gọi của phép toán chuyển vị và lấy liên hợp này còn
được gọi là chuyển vị liên hợp (conjugate transpose), và thường được ký hiệu bằng chữ H
thay cho chữ T . Chuyển vị liên hợp của một ma trận A được ký hiệu là AH (cũng được đọc
là A Hermitian).
Cho A ∈ Rm×n , ta nói B ∈ Rn×m là chuyển vị liên hợp của A nếu bij = aji , ∀1 ≤ i ≤ n, 1 ≤
j ≤ m, trong đó a là liên hiệp phức của a.
Ví dụ:
1 + 2i
A=
i
3 − 4i
1 − 2i
H
⇒A =
2
3 + 4i
−i
2 + 3i
;x =
⇒ xH = 2 − 3i −2i (1.1)
2
2i
Nếu A, x là các ma trận và vector thực thì AH = AT , xH = xT .
Nếu chuyển vị liên hợp của một ma trận phức bằng với chính nó, AH = A, thì ta nói ma
trận đó là Hermitian.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
6
1.3 Phép nhân hai ma trận
Cho hai ma trận A ∈ Rm×n , B ∈ Rn×p , tích của hai ma trận được ký hiệu là C = AB ∈ Rm×p
trong đó phần tử ở hàng thứ i, cột thứ j của ma trận kết quả được tính bởi:
cij =
n
X
aik bkj
(1.2)
k=1
Để nhân được hai ma trận, số cột của ma trận thứ nhất phải bằng số hàng của ma trận thứ
hai. Trong ví dụ trên, chúng đều bằng n.
Một vài tính chất của phép nhân hai ma trận (giả sử kích thước các ma trận là phù hợp để
các phép nhân ma trận tồn tại):
1. Phép nhân ma trận không có tính chất giao hoán. Thông thường (không phải luôn luôn),
AB 6= BA. Thậm chí, trong nhiều trường hợp, các phép tính này không tồn tại vì kích
thước các ma trận lệch nhau.
2. Phép nhân ma trận có tính chất kết hợp: ABC = (AB)C = A(BC)
3. Phép nhân ma trận có tính chất phân phối đối với phép cộng: A(B + C) = AB + AC.
4. Chuyển vị của một tích bằng tích các chuyển vị theo thứ tự ngược lại. Điều tương tự xảy
ra với Hermitian của một tích:
(AB)T = BT AT ;
(AB)H = BH AH
(1.3)
Theo định nghĩa trên, bằng cách coi vector là một trường hợp đặc biệt của ma trận, tích vô
hướng của hai vector (inner product) x, y ∈ Rn được định nghĩa là:
T
T
x y=y x=
n
X
xi y i
(1.4)
i=1
Chú ý, xH y = (yH x)H = yH x. Chúng bằng nhau khi và chỉ khi chúng là các số thực. Nếu
tích vô hướng của hai vector khác không bằng không, hai vector đó vuông góc với nhau.
xH x ≥ 0, ∀x ∈ Cn vì tích của một số phức với liên hiệp của nó luôn là một số không âm.
Phép nhân của một ma trận A ∈ Rm×n với một vector x ∈ Rn là một vector b ∈ Rm :
Ax = b, với bi = A:,i x
(1.5)
với A:,i là vector hàng thứ i của A.
Ngoài ra, một phép nhân khác được gọi là Hadamard (hay element-wise) hay được sử dụng
trong Machine Learning. Tích Hadamard của hai ma trận cùng kích thước A, B ∈ Rm×n ,
ký hiệu là C = A B ∈ Rm×n , trong đó:
cij = aij bij
Machine Learning cơ bản
(1.6)
www.machinelearningcoban.com/ebook
7
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.4 Ma trận đơn vị và ma trận nghịch đảo
1.4.1 Ma trận đơn vị
Đường chéo chính của một ma trận là tập hợp các điểm có chỉ số hàng và cột là như nhau.
Cách định nghĩa này cũng có thể được định nghĩa cho một ma trận không vuông. Cụ thể, nếu
A ∈ Rm×n thì đường chéo chính của A bao gồm {a11 , a22 , . . . , app }, trong đó p = min{m, n}.
Một ma trận đơn vị bậc n là một ma trận đặc biệt trong Rn×n với các phần tử trên đường
chéo chính bằng 1, các phần tử còn lại bằng 0. Ma trận đơn vị thường được ký hiệu là I
(identity matrix). Nếu làm việc với nhiều ma trận đơn vị với bậc khác nhau, ta thường ký
kiệu In cho ma trận đơn vị bậc n. Dưới đây là ma trận đơn vị bậc 3 và bậc 4:




1000
100
0 1 0 0


I3 = 0 1 0 , I4 = 
(1.7)
0 0 1 0
001
0001
Ma trận đơn vị có tính chất đặc biệt trong phép nhân. Nếu A ∈ Rm×n , B ∈ Rn×m và I là
ma trận đơn vị bậc n, ta có: AI = A, IB = B.
Với mọi vector x ∈ Rn , ta có In x = x.
1.4.2 Ma trận nghịch đảo
Cho một ma trận vuông A ∈ Rn×n , nếu tồn tại ma trận vuông B ∈ Rn×n sao cho AB = In ,
thì ta nói A là khả nghịch (invertible, nonsingular hoặc nondegenerate), và B được gọi là
ma trận nghịch đảo (inverse matrix ) của A. Nếu không tồn tại ma trận B thoả mãn điều
kiện trên, ta nói rằng ma trận A là không
khả nghịch (singular hoặc degenerate).
Nếu A là khả nghịch, ma trận nghịch đảo của nó thường được ký hiệu là A−1 . Ta cũng có:
A−1 A = AA−1 = I
(1.8)
Ma trận nghịch đảo thường được sử dụng để giải hệ phương trình tuyến tính. Giả sử rằng
A ∈ Rn×n là một ma trận khả nghịch và một vector bất kỳ b ∈ Rn . Khi đó, phương trình:
Ax = b
(1.9)
có nghiệm duy nhất là x = A−1 b. Thật vậy, nhân bên trái cả hai vế của phương trình với
A−1 , ta có Ax = b ⇔ A−1 Ax = A−1 b ⇔ x = A−1 b.
Nếu A không khả nghịch, thậm chí không vuông, phương trình tuyến tính (1.9) có thể không
có nghiệm hoặc có vô số nghiệm.
Giả sử các ma trận vuông A, B là khả nghịch, khi đó tích của chúng cũng khả nghịch, và
(AB)−1 = B−1 A−1 . Quy tắc này cũng khá giống với cách tính ma trận chuyển vị của tích
các ma trận.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
8
1.5 Một vài ma trận đặc biệt khác
1.5.1 Ma trận đường chéo
Ma trận đường chéo (diagonal matrix ) là ma trận chỉ có các thành phần trên đường chéo
chính là khác không. Định nghĩa này cũng có thể được áp dụng lên các ma trận không vuông.
Ma trận không (tất cả các phần tử bằng 0) và đơn 
vị là các
 ma trận đường chéo. Một vài ví
−1 0
20
100 
dụ về các ma trận đường chéo 1 ,
,
, 0 2.
00
020
0 0
Với các ma trận đường chéo vuông, thay vì viết cả ma trận, ta có thể chỉ liệt kê các thành
phần trên đường chéo. Ví dụ, một ma trận đường chéo vuông A ∈ Rm×m có thể được ký
hiệu là diag(a11 , a22 , . . . , amm ) với aii là phần tử hàng thứ i, cột thứ i của ma trận A.
Tích, tổng của hai ma trận đường chéo vuông cùng bậc là một ma trận đường chéo. Một
ma trận đường chéo vuông là khả nghịch nếu và chỉ nếu mọi phần tử trên đường chéo chính
là khác không. Nghịch đảo của một ma trận đường chéo khả nghịch cũng là một ma trận
−1
−1
đường chéo. Cụ thể hơn, (diag(a1 , a2 , . . . , an ))−1 = diag(a−1
1 , a2 , . . . , an ).
1.5.2 Ma trận tam giác
Một ma trận vuông được gọi là ma trận tam giác trên (upper triangular matrix ) nếu tất cả
các thành phần nằm phía dưới đường chéo chính bằng 0. Tương tự, một ma trận vuông được
gọi là ma trận tam giác dưới (lower triangular matrix ) nếu tất cả các thành phần nằm phía
trên đường chéo chính bằng 0.
Các hệ phương trình tuyến tính mà ma trận hệ số có dạng tam giác thường được quan tâm
vì chúng có thể được giải với chi phí tính toán thấp (low computational cost). Xét hệ:

a11 x1 + a12 x2 + · · · + a1,n−1 xn−1 + a1n xn = b1




a22 x2 + · · · + a2,n−1 xn−2 + a2n xn = b2

...
...
...
...
(1.10)


an−1,n−1 xn−1 + an−1,n xn = bn−1



ann xn = bn
Hệ này có thể được viết gọn dưới dạng Ax = b với A là một ma trận đường chéo trên.
Nhận thấy rằng phương trình này có thể giải mà không cần tính ma trận nghịch đảo A−1
(quá trình tính ma trận nghịch đảo thường tốn khá nhiều thời gian), thay vào đó, ta có thể
giải xn dựa vào phương trình cuối cùng. Sau khi có xn , ta có thể thay nó vào phương trình
gần cuối để suy ra xn−1 . Tiếp tục quá trình này, ta sẽ có nghiệm cuối cùng x. Quá trình
giải từ cuối lên đầu và thay toàn bộ các thành phần đã tìm được vào phương trình hiện tại
được gọi là back substitution. Với ma trận hệ số là một ma trận tam giác dưới, ta có một
quá trình tương tự được gọi là forward substitution.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
9
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.6 Định thức
1.6.1 Định nghĩa
Định thức của một ma trận vuông A được ký hiệu là det(A) hoặc det A. Có nhiều cách
định nghĩa khác nhau của định thức (determinant). Chúng ta sẽ sử dụng cách định nghĩa
dựa trên quy nạp theo bậc n của ma trận.
Với n = 1, det(A) chính là phần tử duy nhất của ma trận đó.
Với một ma trận vuông bậc n > 1:


a11 a12 . . . a1n
n
 a21 a22 . . . a2n 
X


A=
(−1)i+j aij det(Aij )
 ⇒ det(A) =
 . . . . . . ... . . . 
am1 am2 . . . amn
(1.11)
j=1
Trong đó 1 ≤ i ≤ n bất kỳ và Aij là phần bù đại số của A ứng với phần tử ở hàng i, cột j.
Phần bù đại số này là một ma trận con của A nhận được từ A bằng cách xoá hàng thứ i
và cột thứ j của nó. Đây chính là cách tính định thức dựa trên cách khai triển hàng thứ i
của ma trận1 .
1.6.2 Tính chất
1. det(A) = det(AT ): Một ma trận bất kỳ và chuyển vị của nó có định thức như nhau.
2. Định thức của một ma trận đường chéo (và vuông) bằng tích các phần tử trên đường chéo
chính. Nếu A = diag(a1 , a2 , . . . , an ), thì det(A) = a1 a2 . . . an .
3. Định thức của một ma trận đơn vị bằng 1.
4. Định thức của một tích bằng tích các định thức.
det(AB) = det(A) det(B)
(1.12)
với A, B là hai ma trận vuông cùng chiều.
5. Nếu một ma trận có một hàng hoặc một cột là một vector 0, thì định thức của nó bằng 0.
6. Một ma trận là khả nghịch khi và chỉ khi định thức của nó khác 0.
7. Nếu một ma trận khả nghịch, định thức của ma trận nghịch đảo của nó bằng nghịch đảo
định thức của nó.
1
det(A−1 ) =
vì det(A) det(A−1 ) = det(AA−1 ) = det(I) = 1.
(1.13)
det(A)
1
Việc ghi nhớ định nghĩa này không thực sự quan trọng bằng việc ta cần nhớ một vài tính chất của nó.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
10
1.7 Tổ hợp tuyến tính - Không gian sinh
1.7.1 Tổ hợp tuyến tính
Cho các vector khác không a1 , . . . , an ∈ Rm và các số thực x1 , . . . , xn ∈ R, vector:
b = x1 a1 + x2 a2 + · · · + xn an
(1.14)
được gọi là một tổ hợp tuyến tính (linear combination) của a1 , . . . , an . Xét ma trận A =
[a1 , a2 , . . . , an ] ∈ Rm×n và x = [x1 , x2 , . . . , xn ]T , biểu thức (1.14) có thể được viết lại thành
b = Ax. Ta có thể nói rằng b là một tổ hợp tuyến tính các cột của A.
Tập hợp tất cả các vector có thể biểu diễn được như là một tổ hợp tuyến tính của cột của
một ma trận được gọi là không gian sinh (span space, hoặc gọn là span) các cột của ma trận
đó. Không gian sinh của một hệ các vector thường được ký hiệu là span(a1 , . . . , an ). Nếu
phương trình:
0 = x1 a1 + x1 a2 + · · · + xn an
(1.15)
có nghiệm duy nhất x1 = x2 = · · · = xn = 0, ta nói rằng hệ {a1 , a2 , . . . , an } là một hệ độc
lập tuyến tính (linear independence). Ngược lại, Nếu tồn tại xi 6= 0 sao cho phương trình
trên thoả mãn, ta nói rằng đó là một hệ phụ thuộc tuyến tính (linear dependence).
1.7.2 Tính chất
1. Một hệ là phụ thuộc tuyến tính nếu và chỉ nếu tồn tại một vector trong hệ đó là tổ hợp
tuyến tính của các vector còn lại. Thật vậy, giả sử phương trình (1.15) có nghiệm khác
không. Giả sử hệ số khác không là xi , ta sẽ có:
ai =
−xi−1
−xi+1
−xn
−x1
a1 + · · · +
ai−1 +
ai+1 + . . .
an
xi
xi
xi
xi
(1.16)
tức ai là một tổ hợp tuyến tính của các vector còn lại.
2. Tập con khác rỗng của một hệ độc lập tuyến tính là một hệ độc lập tuyến tính.
3. Tập hợp các cột của một ma trận khả nghịch tạo thành một hệ độc lập tuyến tính.
Giả sử ma trận A khả nghịch, phương trình Ax = 0 có nghiệm duy nhất x = A−1 0 = 0.
Vì vậy, các cột của A tạo thành một hệ độc lập tuyến tính.
4. Nếu A là một ma trận cao (tall matrix), tức số hàng lớn hơn số cột, m > n, thì tồn tại
vector b sao cho Ax = b vô nghiệm.
Việc này có thể dễ hình dung trong không gian ba chiều. Không gian sinh của một vector
là một đường thẳng, không gian sinh của hai vector độc lập tuyến tính là một mặt phẳng,
tức chỉ biểu diễn được các vector nằm trong mặt phẳng đó.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
11
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
Ta cũng có thể chứng minh tính chất này bằng phản chứng. Giả sử mọi vector trong
không gian m chiều đều nằm trong không gian sinh của một hệ n < m vector là các cột
của một ma trận A. Xét các cột của ma trận đơn vị bậc m. Vì mọi cột của ma trận này
đều có thể biểu diễn dưới dạng một tổ hợp tuyến tính của n vector đã cho nên phương
trình AX = I có nghiệm. Nếu ta thêm các vào các
cột
bằng 0 và các hàng bằng 0 vào A
X
và X để được các ma trận vuông, ta sẽ có A 0
= I. Việc này chỉ ra rằng A 0 là
0
một ma trận khả nghịch trong khi nó có
các cột bằng 0. Đây là một điều vô lý vì theo
tính chất của định thức, định thức của A 0 bằng 0.
5. Nếu n > m, thì n vector bất kỳ trong không gian m chiều tạo thành một hệ phụ thuộc
tuyến tính. Xin được bỏ qua phần chứng minh.
1.7.3 Cơ sở của một không gian
Một hệ các vector {a1 , . . . , an } trong không gian vector m chiều V = Rm được gọi là một cơ
sở (basic) nếu hai điều kiện sau được thoả mãn:
1. V ≡ span(a1 , . . . , an )
2. {a1 , . . . , an } là một hệ độc lập tuyến tính.
Khi đó, mọi vector b ∈ V đều có thể biểu diễn duy nhất dưới dạng một tổ hợp tuyến tính
của các ai .
Từ hai tính chất cuối ở mục trước, ta có thể suy ra rằng m = n.
1.7.4 Range và Null space
Với mỗi ma trận A ∈ Rm×n , có hai không gian con quan trọng ứng với ma trận này.
1. Range của A. Range của A, được định nghĩa là:
R(A) = {y ∈ Rm : ∃x ∈ Rn , Ax = y}
(1.17)
Nói cách khác, R(A) là tập hợp các điểm là tổ hợp tuyến tính của các cột của A, hay
chính là không gian sinh (span) của các cột của A. R(A) là một không gian con của Rm
với số chiều chính bằng sô lượng lớn nhất các cột của A độc lập tuyến tính.
2. Null của A, ký hiệu là N (A), được định nghĩa là:
N (A) = {x ∈ Rn : Ax = 0}
Machine Learning cơ bản
(1.18)
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
12
Mỗi vector trong N (A) chính là một bộ các hệ số làm cho tổ hợp tuyến tính các cột của
A tạo thành một vector 0. N(A) có thể được chứng minh là một không gian con trong
Rn . Khi các cột của A là độc lập tuyến tính, theo định nghĩa, N (A) = {0} (chỉ gồm
vector 0).
R(A) và N (A) là các không gian con vector với số chiều lần lượt là dim(R(A)) và
dim(N (A)), ta có tính chất quan trọng sau đây:
dim(R(A)) + dim(N (A)) = n
(1.19)
1.8 Hạng của ma trận
Xét một ma trận A ∈ Rm×n . Hạng (rank ) của ma trận này, ký hiệu là rank(A), được định
nghĩa là số lượng lớn nhất các cột của nó tạo thành một hệ độc lập tuyến tính.
Các tính chất quan trọng của hạng:
1. Một ma trận có hạng bằng 0 khi và chỉ khi nó là ma trận 0.
2. rank(A) = rank(AT ). Hạng của một ma trận bằng hạng của ma trận chuyển vị. Nói cách
khác, số lượng lớn nhất các cột độc lập tuyến tính của một ma trận bằng với số lượng
lớn nhất các hàng độc lập tuyến tính của ma trận đó. Từ đây ta suy ra:
3. Nếu A ∈ Rm×n , thì rank(A) ≤ min(m, n) vì theo định nghĩa, hạng của một ma trận
không thể lớn hơn số hàng hoặc số cột của nó.
4. rank(AB) ≤ min(rank(A), rank(B))
5. rank(A + B) ≤ rank(A) + rank(B). Điều này chỉ ra rằng một ma trận có hạng bằng k
không được biểu diễn dưới dạng ít hơn k ma trận có hạng bằng 1. Đến bài Singular Value
Decomposition, chúng ta sẽ thấy rằng một ma trận có hạng bằng k có thể biểu diễn được
dưới dạng đúng k ma trận có hạng bằng 1.
6. Bất đẳng thức Sylvester về hạng: Nếu A ∈ Rm×n , B ∈ Rn×k , thì
rank(A) + rank(B) − n ≤ rank(AB)
Xét một ma trận vuông A ∈ Rn× , hai điều kiện bất kỳ dưới đây là tương đương:
1. A là một ma trận khả nghịch.
3. det(A) 6= 0.
2. Các cột của A tạo thành một cơ sở trong
không gian n chiều.
4. rank(A) = n
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
13
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.9 Hệ trực chuẩn, ma trận trực giao
1.9.1 Định nghĩa
Một hệ cơ sở {u1 , u2 , . . . , um ∈ Rm } được gọi là trực giao (orthogonal ) nếu mỗi vector là
khác 0 và tích của hai vector khác nhau bất kỳ bằng 0:
ui 6= 0; uTi uj = 0 ∀ 1 ≤ i 6= j ≤ m
(1.20)
Một hệ cơ sở {u1 , u2 , . . . , um ∈ Rm } được gọi là trực chuẩn (orthonormal ) nếu nó là một hệ
trực giao và độ dài Euclidean c (xem thêm phần norm 2) của mỗi vector bằng 1:
1 nếu i = j
T
ui uj =
(1.21)
0 o.w.
(o.w. là cách viết ngắn gọn của trong các trường hợp còn lai (viết tắt của otherwise).)
Gọi U = [u1 , u2 , . . . , um ] với {u1 , u2 , . . . , um ∈ Rm } là trực chuẩn, từ (1.21) có thể suy ra:
UUT = UT U = I
(1.22)
trong đó I là ma trận đơn vị bậc m. Nếu một ma trận thoả mãn điều kiện 1.22, ta gọi nó
là ma trận trực giao (orthogonal matrix ). Ma trận loại này không không được gọi là ma trận
trực chuẩn, không có định nghĩa cho ma trận trực chuẩn.
Nếu một ma trận vuông phức U thoả mãn UUH = UH U = I, ta nói rằng U là một ma
trận unitary (unitary matrix ).
1.9.2 Tính chất của ma trận trực giao
1. U−1 = UT : nghịch đảo của một ma trận trực giao chính là chuyển vị của nó.
2. Nếu U là ma trận trực giao thì chuyển vị của nó UT cũng là một ma trận trực giao.
3. Định thức của ma trận trực giao bằng 1 hoặc −1. Điều này có thể suy ra từ việc det(U) =
det(UT ) và det(U) det(UT ) = det(I) = 1.
4. Ma trận trực giao thể hiện cho phép xoay một vector (xem thêm mục 1.10). Giả sử có
hai vector x, y ∈ Rm và một ma trận trực giao U ∈ Rm×m . Dùng ma trận này để xoay
hai vector trên ta được Ux, Uy. Tích vô hướng của hai vector mới là:
(Ux)T (Uy) = xT UT Uy = xT y
(1.23)
như vậy phép xoay không làm thay đổi tích vô hướng giữa hai vector.
5. Giả sử Û ∈ Rm×r , r < m là môt ma trận con của ma trận trực giao U được tạo bởi r cột
của U, ta sẽ có ÛT Û = Ir . Việc này có thể được suy ra từ (1.21).
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
Hình 1.1: Chuyển đổi toạ độ trong
các hệ cơ sở khác nhau. Trong
hệ toạ độ Oe1 e2 , x có toạ độ là
(x1 , x2 ). Trong hệ toạ độ Ou1 u2 ,
x có toạ độ là (y2 , y2 ).
e2
u2
x u1
y1
x2
14
e1
y2
O
x1
1.10 Biễu diễn vector trong các hệ cơ sở khác nhau
Trong không gian m chiều, toạ độ của mỗi điểm được xác định dựa trên một hệ toạ độ nào
đó. Ở các hệ toạ độ khác nhau, hiển nhiên là toạ độ của mỗi điểm cũng khác nhau.
Tập hợp các vector e1 , . . . , em mà mỗi vector ei có đúng 1 phần tử khác 0 ở thành phần thứ
i và phần tử đó bằng 1, được gọi là hệ cơ sở đơn vị (hoặc hệ đơn vị, hoặc hệ chính tắc) trong
không gian m chiều. Nếu xếp các vector ei , i = 1, 2, . . . , m theo đúng thứ tự đó, ta sẽ được
ma trận đơn vị m chiều.
Mỗi vector cột x = [x1 , x2 , . . . , xm ] ∈ Rm có thể coi là một tổ hợp tuyến tính của các vector
trong hệ cơ sở chính tắc:
x = x1 e1 + x2 e2 + · · · + xm em
(1.24)
Giả sử có một hệ cơ sở khác u1 , u2 , . . . , um (các vector này độc lập tuyến tính), biểu diễn
của vector x trong hệ cơ sở mới này có dạng:
x = y1 u1 + y2 u2 + · · · + ym um = Uy
(1.25)
với U = u1 . . . um . Lúc này, vector y chính là biểu diễn của x trong hệ cơ sở mới. Bộ các
số yi , i = 1, 2, . . . , m là duy nhất vì y = U−1 x.
Trong các ma trận đóng vai trò như hệ cơ sở, các ma trận trực giao, tức UT U = I, được quan
tâm nhiều hơn vì nghịch đảo của chúng chính là chuyển vị của chúng: U−1 = UT . Khi đó, y có
thể được tính một cách nhanh chóng y = UT x. Từ đó suy ra: yi = xT ui = uTi x, i = 1, . . . , m.
Dưới góc nhìn hình học, hệ trực giao tạo thành một hệ trục toạ độ Descartes vuông góc mà
chúng ta đã quen thuộc trong không gian hai chiều hoặc ba chiều.
Có thể nhận thấy rằng vector 0 được biểu diễn như nhau trong mọi hệ cơ sở. Hình 1.1 là
một ví dụ về việc chuyển hệ cơ sở trong không gian hai chiều.
Việc chuyển đổi hệ cơ sở sử dụng ma trận trực giao có thể được coi như một phép xoay
trục toạ độ. Nhìn theo một cách khác, đây cũng chính là một phép xoay vector dữ liệu theo
chiều ngược lại, nếu ta coi các trục toạ độ là cố định. Trong chương Principle Component
Analysis, chúng ta sẽ thấy được một ứng dụng quan trọng của việc đổi hệ cơ sở.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
15
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.11 Trị riêng và vector riêng
1.11.1 Định nghĩa
Cho một ma trận vuông A ∈ Rn×n , một vector x ∈ Rn (x 6= 0) và một số vô hướng (có
thể thực hoặc phức) λ. Nếu Ax = λx, thì ta nói λ và x là một cặp trị riêng, vector riêng
(eigenvalue, eigenvector ) của ma trận A.
Từ định nghĩa ta cũng có (A − λI)x = 0, tức x nằm trong null space của A − λI. Vì x 6= 0,
A − λI là một ma trận không khả nghịch. Nói cách khác det(A − λI) = 0, tức λ là nghiệm
của phương trình det(A − tI) = 0. Định thức này là một đa thức bậc n của t, được gọi là
đa thức đặc trưng (characteristic polynomial ) của A, được ký hiệu là pA (t). Tập hợp tất cả
các trị riêng của một ma trận vuông còn được gọi là phổ (spectrum) của ma trận đó.
1.11.2 Tính chất
1. Nếu x là một vector riêng của A ứng với λ thì kx, ∀k 6= 0 cũng là vector riêng ứng với
trị riêng đó. Nếu x1 , x2 là hai vector riêng ứng với cùng trị riêng λ, thì tổng của chúng
cũng là một vector ứng với trị riêng đó. Từ đó suy ra tập hợp các vector riêng ứng với
một trị riêng của một ma trận vuông tạo thành một không gian vector con, thường được
gọi là không gian riêng (eigenspace) ứng với trị riêng đó.
2. Mọi ma trận vuông bậc n đều có n trị riêng (kể cả lặp) và có thể là các số phức.
3. Tích của tất cả các trị riêng của một ma trận bằng định thức của ma trận đó. Tổng tất
cả các trị riêng của một ma trận bằng tổng các phần tử trên đường chéo của ma trận đó.
4. Phổ của một ma trận bằng phổ của ma trận chuyển vị của nó.
5. Nếu A, B là các ma trận vuông cùng bậc thì pAB (t) = pBA (t). Điều này nghĩa là, mặc
dù tích của hai ma trận không có tính chất giao hoán, đa thức đặc trưng của AB và BA
là như nhau. Tức phổ của hai tích này là trùng nhau.
6. Với ma trận đối xứng (hoặc tổng quát, Hermitian), tất cả các trị riêng của nó đều là các
số thực. Thật vậy, giả sử λ là một trị riêng của một ma trận Hermitian A và x là một
vector riêng ứng với trị riêng đó. Từ định nghĩa ta suy ra:
Ax = λx ⇒ (Ax)H = λ̄xH ⇒ λ̄xH = xH A
(1.26)
λ̄xH x = xH Ax = λxH x ⇒ (λ − λ̄)xH x = 0
(1.27)
với λ̄ là liên hiệp phức của số vô hướng λ. Nhân cả hai vế vào bên phải với x ta có:
H
vì x 6= 0 nên x x 6= 0. Từ đó suy ra λ̄ = λ, tức λ phải là một số thực.
7. Nếu (λ, x) là một cặp trị riêng, vector riêng của một ma trận khả nghich A, thì ( λ1 , x) là
một cặp trị riêng, vector riêng của A−1 , vì Ax = λx ⇒ λ1 x = A−1 x.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
16
1.12 Chéo hoá ma trận
Việc phân tích một đại lượng toán học ra thành các đại lượng nhỏ hơn thường mang lại
nhiều hiệu quả. Phân tích một số thành tích các thừa số nguyên tốt giúp kiểm tra một số có
bao nhiêu ước số. Phân tích đa thức thành nhân tử giúp tìm nghiệm của đa thức. Với phân
tích một ma trận thành tích của các ma trận có dạng đặc biệt khác (quá trình này được gọi
là decomposition) cũng mang lại nhiều lợi ích trong việc giải hệ phương trình một cách hiệu
quả, tính luỹ thừa của ma trận, xấp xỉ ma trận, nén dữ liệu, phân cụm dữ liệu, và nhiều ứng
dụng khác. Trong mục này, chúng ta sẽ làm quen với một trong những cách phân tích ma
trận thường gặp nhất, đó là chéo hoá ma trận (diagonalization hoặc eigendecomposition).
Giả sử x1 , . . . , xn 6= 0 là các vector riêng của một ma trận vuông A ứng với các trị riêng
λ1 , . . . , λn của ma trận đó. Các trị riêng này có thể lặp nhau, có thể là các số phức. Thế thì
ta có:
Axi = λi xi , ∀i = 1, . . . , n
(1.28)
Đặt Λ = diag(λ1 , λ2 , . . . , λn ), và X = x1 , x2 , . . . , xn , ta sẽ có AX = XΛ. Hơn nữa, nếu
các trị riêng x1 , . . . , xn là độc lập tuyến tính, ma trận X là một ma trận khả nghịch. Khi đó
ta có thể viêt A dưới dạng tích của ba ma trận:
A = XΛX−1
(1.29)
Các vector riêng xi thường được chọn sao cho xTi xi = 1. Cách biểu diễn một ma trận
như (1.29) được gọi là eigendecomposition vì nó tách ra thành tích của các ma trận đặc biệt
dựa trên vector riêng (eigenvectors) và trị riêng (eigenvalues). Ma trận các trị riêng Λ là
một ma trận đường chéo. Vì vậy, cách khai triển này cũng có tên gọi là chéo hoá ma trận.
Tính chất:
1. Khái niệm chéo hoá ma trận chỉ áp dụng với ma trận vuông. Vì không có định nghĩa
vector riêng hay trị riêng cho ma trận không vuông.
2. Không phải ma trận vuông nào cũng có thể chéo hoá được (diagonalizable). Một ma trận
vuông bậc n là chéo hoá được nếu và chỉ nếu nó có đủ n trị riêng độc lập tuyến tính.
3. Nếu một ma trận là chéo hoá được, có nhiều hơn một cách chéo hoá ma trận đó. Chỉ cần
đổi vị trí của các λi và vị trí tương ứng các cột của X, ta sẽ có một cách chéo hoá mới.
4. Nếu A có thể viết được dưới dạng (1.29), khi đó các luỹ thừa có nó cũng chéo hoá được.
Cụ thể:
A2 = (XΛX−1 )(XΛX−1 ) = XΛ2 X−1 ;
Ak = XΛk X−1 , ∀k ∈ N
(1.30)
Xin chú ý rằng nếu λ và x là một cặp (trị riêng, vector riêng) của A, thì λk và x là một
cặp (trị riêng, vector riêng) của Ak . Thật vậy, Ak x = Ak−1 (Ax) = λAk−1 x = · · · = λk x.
5. Nếu A khả nghịch, thì A−1 = (XΛX−1 )−1 = XΛ−1 X−1 . Vậy chéo hoá ma trận cũng có
ích trong việc tính ma trận nghịch đảo.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
17
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.13 Ma trận xác định dương
1.13.1 Định nghĩa
Một ma trận đối xứng2 A ∈ Rn×n được gọi là xác định dương (positive definite) nếu:
xT Ax > 0, ∀x ∈ Rn , x 6= 0.
(1.31)
Một ma trận đối xứng A ∈ Rn×n được gọi là nửa xác định dương (positive semidefinite) nếu:
xT Ax ≥ 0, ∀x ∈ Rn , x 6= 0.
(1.32)
Trên thực tế, ma trận nửa xác định dương, dược viết tắt là PSD, được sử dụng nhiều hơn.
Ma trận xác định âm (negative definite) và nửa xác định âm (negative semi-definite) cũng
được định nghĩa tương tự.
Ký hiệu A 0, 0, ≺ 0, 0 được dùng để chỉ một ma trận là xác định dương, nửa xác
định dương, xác định âm, nửa xác định âm, theo thứ tự đó. Ký hiệu A B cũng được dùng
để chỉ ra rằng A − B 0.
Mở rộng, một ma trận phức, Hermitian A ∈ Cn×n được gọi là xác định dương nếu:
xH Ax > 0, ∀x ∈ Cn , x 6= 0.
1 −1
u
Ví dụ, A =
là nửa xác định dương vì với mọi vector x =
, ta có:
−1 1
v
1 −1 u
T
x Ax = u v
= u2 + v 2 − 2uv = (u − v)2 ≥ 0, ∀u, v ∈ R
−1 1
v
(1.33)
(1.34)
1.13.2 Tính chất
1. Mọi trị riêng của một ma trận xác định dương đều là một số thực dương.
Trước hết, các trị riêng của các ma trận dạng này là số thực vì các ma trận đều là đối
xứng. Để chứng minh chúng là các số thực dương, ta giả sử λ là một trị riêng của một
ma trận xác định dương A và x 6= 0 là một vector riêng ứng với trị riêng đó. Nhân vào
bên trái cả hai vế của Ax = λx với xH ta có:
λxH x = xH Ax > 0
(1.35)
(ở đây Hermitian được dùng để xét tổng quát cho cả trường hợp ma trận phức). Vì xH x
luôn dương với mọi x nên ta phải có λ > 0. Tương tự, ta có thể chứng minh được rằng
mọi trị riêng của một ma trận nửa xác định dương là không âm.
2
Chú ý, tồn tại những ma trận không đối xứng thoả mãn điều kiện (1.31). Ta sẽ không xét những ma trận này.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
18
2. Mọi ma trận xác định dương là khả nghịch. Hơn nữa, định thức của nó là một số dương.
Điều này được trực tiếp suy ra từ tính chất 1. Nhắc lại rằng định thức của một ma trận
bằng tích tất cả các trị riêng của nó.
3. Tiêu chuẩn Sylvester: Một ma trận Hermitian là xác định dương nếu và chỉ nếu mọi
leading principal minors của nó là dương. Một ma trận Hermitian là nửa xác định dương
nếu mọi principal minors của nó là không âm. Đây là một tiêu chuẩn để kiểm tra một ma
trận Hermitian A ∈ Rn có là (nửa) xác định dương hay không. Ở đây, leading principal
minors và principal minors được định nghĩa như sau:
Gọi I là một tập con bất kỳ của {1, 2, . . . , n}, AI là ma trận con của A nhận được bằng
cách trích ra các hàng và cột có chỉ số nằm trong I của A. Khi đó, AI và det(AI ) lần
lượt được gọi là một ma trận con chính (principal submatrix ) và principal minor của A.
Nếu I chỉ bao gồm các số tự nhiên liên tiếp từ 1 đến k ≤ n, ta nói AI và det(AI ) lần
lượt là một leading principal submatrix và leading principal minor bậc k của A.
4. A = BH B là nửa xác định dương với mọi ma trận B (B không nhất thiết vuông).
Thật vậy, với mọi vector x 6= 0 với chiều phù hợp, xH Ax = xH BH Bx = (Bx)H (Bx) ≥ 0.
5. Khai triển Cholesky (Cholesky decomposition): Mọi ma trận Hermitian, nửa xác định
dương A đều biểu diễn được duy nhất dưới dạng A = LLH , trong đó L là một ma trận
tam giác dưới với các thành phần trên đường chéo là thực dương.
6. Nếu A là một ma trận nửa xác định dương, thì xT Ax = 0 ⇔ Ax = 0.
Nếu Ax = 0 ⇒ xT Ax = 0 một cách hiển nhiên.
Nếu xT Ax = 0. Với vector y 6= 0 bất kỳ có cùng kích thước với x, xét hàm số sau đây:
f (λ) = (x + λy)T A(x + λy)
(1.36)
Hàm số này không âm với mọi λ vì A là một ma trận nửa xác định dương. Đây là một
tam thức bậc hai của λ:
f (λ) = yT Ayλ2 + 2yT Axλ + xT Ax = yT Ayλ2 + 2yT Axλ
(1.37)
Xét hai trường hợp:
• yT Ay = 0. Khi đó, f (λ) = 2yT Axλ ≥ 0, ∀λ nếu và chỉ nếu yT Ax = 0.
• yT Ay > 0. Khi đó tam thức bậc hai f (λ) ≥ 0, ∀λ nếu và chỉ nếu ∆0 = (yT Ax)2 ≤ 0
vì hệ số ứng với thành phần bậc hai bằng yT Ay > 0. Điều này cũng đồng nghĩa với
việc yT Ax = 0
Tóm lại, yT Ax = 0, ∀y 6= 0. Điều này chỉ xảy ra nếu Ax = 0.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
19
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.14 Chuẩn của vector và ma trận
Trong không gian một chiều, khoảng cách giữa hai điểm là trị tuyệt đối của hiệu giữa hai giá
trị đó. Trong không gian hai chiều, tức mặt phẳng, chúng ta thường dùng khoảng cách Euclid
để đo khoảng cách giữa hai điểm. Khoảng cách này chính là đại lượng chúng ta thường nói
bằng ngôn ngữ thông thường là đường chim bay. Đôi khi, để đi từ một điểm này tới một
điểm kia, con người chúng ta không thể đi bằng đường chim bay được mà còn phụ thuộc
vào việc đường đi nối giữa hai điểm có dạng như thế nào.
Việc đo khoảng cách giữa hai điểm dữ liệu nhiều chiều, tức hai vector, là rất cần thiết trong
Machine Learning. Và đó chính là lý do mà khái niệm chuẩn (norm) ra đời. Để xác định
khoảng cách giữa hai vector y và z, người ta thường áp dụng một hàm số lên vector hiệu
x = y − z. Hàm số này cần có một vài tính chất đặc biệt.
Định nghĩa 1.1: Norm
Một hàm số f : Rn → R được gọi là một norm nếu nó thỏa mãn ba điều kiện sau đây:
1. f (x) ≥ 0. Dấu bằng xảy ra ⇔ x = 0.
2. f (αx) = |α|f (x), ∀α ∈ R
3. f (x1 ) + f (x2 ) ≥ f (x1 + x2 ), ∀x1 , x2 ∈ Rn
Điều kiện thứ nhất là dễ hiểu vì khoảng cách không thể là một số âm. Hơn nữa, khoảng
cách giữa hai điểm y và z bằng 0 nếu và chỉ nếu hai điểm nó trùng nhau, tức x = y − z = 0.
Điều kiện thứ hai cũng có thể được lý giải như sau. Nếu ba điểm y, v và z thẳng hàng,
hơn nữa v − y = α(v − z) thì khoảng cách giữa v và y gấp |α| lần khoảng cách giữa v và z.
Điều kiện thứ ba chính là bất đẳng thức tam giác nếu ta coi x1 = y − w, x2 = w − z với
w là một điểm bất kỳ trong cùng không gian.
1.14.1 Một số chuẩn vector thường dùng
Độ dài Euclid của một vector x ∈ Rn chính là một norm, norm này được gọi là norm 2:
q
kxk2 = x21 + x22 + · · · + x2n
(1.38)
Bình phương của norm 2 chính là tích vô hướng của một vector với chính nó, kxk22 = xT x.
Với p là một số không nhỏ hơn 1 bất kỳ, hàm số:
1
kxkp = (|x1 |p + |x2 |p + . . . |xn |p ) p
(1.39)
được chứng minh thỏa mãn ba điều kiện của norm, và được gọi là norm p.
Có một vài giá trị của p thường được dùng:
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
x2
Hình 1.2: Minh họa norm 1 và
norm 2 trong không gian hai chiều.
Norm 2 chính là khoảng cách giữa
hai điểm trong mặt phẳng. Trong
khi đó norm 1 là quãng đường ngắn
nhất giữa hai điểm nếu chỉ được đi
theo các đường song song với các
trục toạ độ.
kx − yk1 = |x1 − y1 | + |x2 − y2 |
x
kx
−
|x2 − y2 |
y2
20
yk
2
|x1 − y1 |
z
y
y1
x1
1. Khi p = 2 chúng ta có norm 2 như ở trên.
2. Khi p = 1 chúng ta có norm 1: kxk1 = |x1 | + |x2 | + · · · + |xn | là tổng các trị tuyệt đối
của từng phần tử của x. Hình 1.2 là một ví dụ so sánh norm 1 và norm 2 trong không
gian hai chiều. Norm 2 (màu xanh) chính là đường thằng chim bay nối giữa hai vector x
và y. Khoảng cách norm 1 giữa hai điểm này (màu đỏ) có thể diễn giải như là đường đi
từ x tới y trong một thành phố mà đường phố tạo thành hình bàn cờ. Chúng ta chỉ có
cách đi dọc theo cạnh của bàn cờ mà không được đi thẳng như đường chim bay.
3. Khi p → ∞, giả sử i = arg maxi=1,2,...,n |xi |. Khi đó:
p 1
p
xi−1 p xi+1 p
xn p
x1 +
+
·
·
·
+
kxkp = |xi | 1 + + · · · + xi xi xi
xi (1.40)
Ta thấy rằng:
p 1
p
xi−1 p xi+1 p
p
x1 +
+ · · · + xn =1
lim 1 + + · · · + xi xi p→∞
xi
xi (1.41)
vì đại lượng trong dấu ngoặc đơn không vượt quá n, ta sẽ có:
kxk∞ , lim kxkp = |xi | = max |xi |
p→∞
i=1,2,...,n
(1.42)
1.14.2 Chuẩn Frobenius của ma trận
Với một ma trận A ∈ Rm×n , chuẩn thường được dùng nhất là chuẩn Frobenius, ký hiệu là
kAkF là căn bậc hai của tổng bình phương tất cả các phần tử của ma trận đó.
v
uX
n
u m X
t
kAkF =
a2ij
i=1 j=1
Chú ý rằng norm 2 kAk2 là một norm khác của ma trận, không phổ biến bằng Frobenius
norm. Chúng ta sẽ làm việc với norm 2 trong Chương fill later.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
21
CHƯƠNG 1. ÔN TẬP ĐẠI SỐ TUYẾN TÍNH
1.14.3 Vết của ma trận
Vết (trace) của một ma trận vuông là tổng tất cả cả phần tử trên đường chéo chính của nó.
Vết của một ma trận được A được ký hiệu là traceA. Hàm số trace xác định trên tập các
ma trận vuông được sử dụng rất nhiều trong tối ưu vì những tính chất đẹp của nó.
Các tính chất quan trọng của hàm trace, với giả sử rằng các ma trận trong hàm trace là
vuông và các phép nhân ma trận thực hiện được:
• Một ma trận vuông bất kỳ và chuyển vị của nó có trace bằng nhau trace(A) = trace(AT ).
Việc này khá hiển nhiên vì phép chuyển vị không làm thay đổi các phần tử trên đường
chéo chính của một ma trận.
P
P
• trace của một tổng bằng tổng các trace: trace( ki=1 Ai ) = ki=1 trace(Ai ).
• trace(kA) = ktrace(A) với k là một số vô hướng bất kỳ.
P
• trace(A) = D
i=1 λi với A là một ma trận vuông và λi , i = 1, 2, . . . , N là toàn bộ các trị
riêng của nó, có thể phức hoặc lặp. Việc chứng minh tính chất này có thể được dựa trên
ma trận đặc trưng của A và định lý Viète.
• trace(AB) = trace(BA). Đẳng thức này được suy ra từ việc đa thức đặc trưng của AB
và BA là như nhau. Bạn đọc cũng có thể chứng minh bằng cách tính trực tiếp các phần
tử trên đường chéo chính của AB và BA.
• trace(ABC) = trace(BCA) nhưng trace(ABC) không đồng nhất với trace(ACB).
• Nếu X là một ma trận khả nghịch cùng chiều với A:
trace(XAX−1 ) = trace(X−1 XA) = trace(A)
(1.43)
• kAk2F = trace(AT A) = trace(AAT ) với A là một ma trận bất kỳ. Từ đây ta cũng suy ra
trace(AAT ) ≥ 0 với mọi ma trận A.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
Chương 2
Giải tích ma trận
Trong chương này, nếu không nói gì thêm, chúng ta giả sử rằng các đạo hàm tồn tại.
2.1 Đạo hàm của hàm trả về một số vô hướng
Đạo hàm (gradient) của một hàm số f (x) : Rn → R theo x được định nghĩa là


∂f (x)
 ∂x 
1 

 ∂f (x) 




∂x

 ∈ Rn
2
∇x f (x) , 

.


.
.




 ∂f (x) 
∂xn
(2.1)
∂f (x)
là đạo hàm của hàm số theo thành phần thứ i của vector x. Đạo hàm này
∂xi
được lấy khi giả sử tất cả các biến ngoài xi là hằng số. Nếu không có thêm biến nào trong
hàm số, ∇x f (x) thường được viết gọn là ∇f (x).
trong đó
Điều quan trọng cần nhớ: đạo hàm của hàm số này là một vector có cùng chiều với
vector đang được lấy đạo hàm. Tức nếu vector được viết ở dạng cột thì đạo hàm cũng
phải được viết ở dạng cột.
Đạo hàm bậc hai (second-order gradient) của hàm số trên còn được gọi là Hessian và được
định nghĩa như sau:
23
CHƯƠNG 2. GIẢI TÍCH MA TRẬN

∂ 2 f (x) ∂ 2 f (x)
...
∂x21 ∂x1 ∂x2
∂ 2 f (x) ∂ 2 f (x)
...
∂x2 ∂x1 ∂x22
..
..
...
.
.






∇2 f (x) , 



 2
 ∂ f (x) ∂ 2 f (x)
...
∂xn ∂x1 ∂xn ∂x2

∂ 2 f (x)

∂x1 ∂xn 

∂ 2 f (x) 

∂x2 ∂xn 
 ∈ Sn

..

.


2
∂ f (x) 
(2.2)
∂x2n
với Sn ∈ Rn×n là tập các ma trận vuông đối xứng bậc n.
Đạo hàm của một hàm số f (X) : Rn×m → R theo ma trận X được định nghĩa là


∂f (X) ∂f (X)
∂f (X)
...
 ∂x
∂x12
∂x1m 
11


 ∂f (X) ∂f (X)

∂f
(X)


.
.
.


∂x
∂x
∂x
21
22
2m  ∈ Rn×m
∇f (X) = 

..
..
.. 
..


.
.
.
. 



 ∂f (X) ∂f (X)
∂f (X) 
...
∂xn1 ∂xn2
∂xnm
(2.3)
Một lần nữa, đạo hàm của một hàm số theo ma trận là một ma trận có kích thước giống với
ma trận đó.
Cụ thể hơn, đạo hàm của một hàm số (trả về một số vô hướng) theo một ma trận được tính
như sau. Trước tiên, ta tính đạo hàm của hàm số đó theo từng thành phần của ma trận khi
toàn bộ các thành phần khác được giả sử là hằng số. Tiếp theo, ta ghép các đạo hàm thành
phần tính được thành một ma trận đúng theo thứ tự như trong ma trận đó. Chú ý rằng
vector là một trường hợp đặc biệt của ma trận.
Ví dụ: Xét hàm số f : R2 → R, f (x) = x21 + 2x1 x2 + sin(x1 ) + 2.
Đạo hàm bậc nhất theo x của hàm số đó là
 


∂f (x)
 ∂x  2x1 + 2x2 + cos(x1 )
1 


∇f (x) = 

 ∂f (x)  = 
2x1
∂x2



Đạo hàm bậc hai theo x, hay Hessian là ∇ f (x) = 

2
Chú ý rằng Hessian luôn là một ma trận đối xứng.
Machine Learning cơ bản
 

∂ 2 f (x) ∂f 2 (x)

2 − sin(x1 ) 2
∂x21 ∂x1 ∂x2  = 




∂ 2 f (x) ∂f 2 (x)  
2
0
∂x2 ∂x1 ∂x22
www.machinelearningcoban.com/ebook
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
24
2.2 Đạo hàm của hàm trả về một vector
Những hàm số trả về một vector, hoặc gọn hơn hàm trả về vector được gọi là vector-valued
function trong tiếng Anh.
Xét một hàm trả về vector với đầu vào là một số thực v(x) : R → Rn :


v1 (x)
 v2 (x) 


v(x) =  .. 
 . 
(2.4)
vn (x)
Đạo hàm của hàm số này theo x là một vector hàng như sau:
∂vn (x)
∂v1 (x) ∂v2 (x)
∇v(x) ,
...
∂x
∂x
∂x
Đạo hàm bậc hai của hàm số này có dạng
∂ 2 vn (x)
∂ 2 v1 (x) ∂ 2 v2 (x)
2
∇ v(x) ,
...
∂x2
∂x2
∂x2
(2.5)
(2.6)
Ví dụ: Cho một vector a ∈ Rn và một hàm số vector-valued v(x) = xa, đạo hàm bậc nhất
và Hession của nó lần lượt là
∇v(x) = aT ,
∇2 v(x) = 0 ∈ R1×n
(2.7)
Xét một hàm trả về vector với đầu vào là một vector h(x) : Rk → Rn , đạo hàm bậc nhất
của nó là


∂hn (x)
∂h1 (x) ∂h2 (x)
...
 ∂x
∂x1
∂x1 
1


 ∂h1 (x) ∂h2 (x)
∂hn (x) 


...


∂x2
∂x2
∂x2 
(2.8)
∇h(x) , 

..
..
.. 
..


.
.
.
. 




 ∂h (x) ∂h (x)
∂h
(x)
1
2
n
...
∂xk
∂xk
∂xk
= ∇h1 (x) ∇h2 (x) . . . ∇hn (x) ∈ Rk×n
(2.9)
Nếu một hàm số g : Rm → Rn , thì đạo hàm của nó là một ma trận thuộc Rm×n .
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
25
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
Đạo hàm bậc hai của hàm số trên là một mảng ba chiều, chúng ta sẽ không nhắc đến ở đây.
Trước khi đến phần tính đạo hàm của các hàm số thường gặp, chúng ta cần biết hai tính
chất quan trọng khá giống với đạo hàm của hàm một biến.
2.3 Tính chất quan trọng của đạo hàm
2.3.1 Quy tắc tích (Product rule)
Để cho tổng quát, ta giả sử biến đầu vào là một ma trận. Giả sử rằng các hàm số có chiều
phù hợp để các phép nhân thực hiện được. Ta có:
∇ f (X)T g(X) = (∇f (X)) g(X) + (∇g(X)) f (X)
(2.10)
Biểu thức này giống như biểu thức chúng ta đã quen thuộc:
(f (x)g(x))0 = f 0 (x)g(x) + g 0 (x)f (x)
Chú ý rằng với tích của vector và ma trận, ta không được sử dụng tính chất giao hoán.
2.3.2 Quy tắc chuỗi (Chain rule)
Khi có các hàm hợp thì
∇X g(f (X)) = (∇X f )T (∇f g)
(2.11)
Quy tắc này cũng giống với quy tắc trong hàm một biến:
(g(f (x)))0 = f 0 (x)g 0 (f )
Một lưu ý nhỏ nhưng quan trọng khi làm việc với ma trận là tích các ma trận yêu cầu kích
thước phù hợp của các ma trận.
2.4 Đạo hàm của các hàm số thường gặp
2.4.1 f (x) = aT x
Giả sử a, x ∈ Rn , ta viết lại
f (x) = aT x = a1 x1 + a2 x2 + · · · + an xn
∂f (x)
= ai , ∀i = 1, 2 . . . , n.
∂xi
T
Vậy, ∇(aT x) = a1 a2 . . . an = a. Ngoài ra, vì aT x = xT a nên ∇(xT a) = a.
Có thể nhận thấy rằng
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
26
2.4.2 f (x) = Ax
Đây là một hàm trả về vector f : Rn → Rm với x ∈ Rn , A ∈ Rm×n . Giả sử rằng ai là hàng
thứ i của ma trận A. Ta có


a1 x
 a2 x 


Ax =  .. 
 . 
am x
Theo định nghĩa (2.8), và công thức đạo hàm của ai x, ta có thể suy ra
∇x (Ax) = aT1 aT2 . . . aTm = AT
(2.12)
Từ đây ta có thể suy ra đạo hàm của hàm số f (x) = x = Ix, với I là ma trận đơn vị, là
∇x = I
2.4.3 f (x) = xT Ax
với x ∈ Rn , A ∈ Rn×n . Áp dụng quy tắc tích (2.10) ta có
∇f (x) = ∇ xT (Ax)
= (∇(x)) Ax + (∇(Ax)) x
= IAx + AT x
= (A + AT )x
(2.13)
Từ (2.13) và (2.12), ta có thể suy ra ∇2 xT Ax = AT + A
Nếu A là một ma trận đối xứng, ta sẽ có ∇xT Ax = 2Ax,
∇2 xT Ax = 2A
Nếu A là ma trận đơn vị, tức f (x) = xT Ix = xT x = kxk22 , ta có
∇kxk22 = 2x,
∇2 kxk22 = 2I
(2.14)
2.4.4 f (x) = kAx − bk22
Có hai cách tính đạo hàm của hàm số này:
Cách 1: Trước hết, biến đổi
f (x) = kAx − bk22 = (Ax − b)T (Ax − b) = (xT AT − bT )(Ax − b)
= xT AT Ax − 2bT Ax + bT b
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
27
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
Lấy đạo hàm cho từng số hạng rồi cộng lại ta có
∇kAx − bk22 = 2AT Ax − 2AT b = 2AT (Ax − b)
Cách 2: Sử dụng ∇(Ax − b) = AT và ∇kxk22 = 2x và quy tắc chuỗi (2.11), ta cũng sẽ thu
được kết quả tương tự.
2.4.5 f (x) = aT xxT b
Bằng cách viết lại f (x) = (aT x)(xT b), ta có thể dùng Quy tắc tích (2.10) và có kết quả
∇(aT xxT b) = axT b + baT x = abT x + baT x = (abT + baT )x,
ở đây ta đã sử dụng tính chất yT z = zT y.
2.4.6 f (X) = trace(AX)
Giả sử A ∈ Rn×m , X = Rm×n , và B = AX ∈ Rn×n . Theo định nghĩa của trace,
f (X) = trace(AX) = trace(B) =
n
X
bjj =
j=1
Từ đây ta thấy rằng
n X
n
X
aji xji
(2.15)
j=1 i=1
∂f (X)
= aji . Sử dụng định nghĩa (2.3) ta đạt được ∇X trace(AX) = AT .
∂xij
2.4.7 f (X) = aT Xb
Giả sử rằng a ∈ Rm , X ∈ Rm×n , b ∈ Rn . Bạn đọc có thể chứng minh được
f (X) =
m X
n
X
xij ai bj
i=1 j=1


a1 b 1 a1 b 2 . . . a 1 b n
 a2 b 1 a2 b 2 . . . a 2 b n 


Từ đó, sử dụng định nghĩa (2.3) ta sẽ có ∇X (aT XbT ) = 
 = abT .
.
 . . . . . . .. . . . 
am b 1 am b 2 . . . a m b n
2.4.8 f (X) = kXk2F
Giả sử X ∈ Rn×n , bằng cách viết lại kXk2F =
Và vì vậy, ∇kXk2F = 2X.
Machine Learning cơ bản
Pn Pn
i=1
j=1
x2ij , ta có thể suy ra
∂f
∂xij
= 2xij .
www.machinelearningcoban.com/ebook
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
28
2.4.9 f (X) = trace(XT AX)
Giả sử rằng X = x1 x2 . . . xm ∈ Rm×n , A ∈ Rm×m . Bằng cách khai triển

 

xT1
xT1 Ax1 xT1 Ax2 . . . xT1 Axn
T
T
T

xT  
x2 Ax1 x2 Ax2 . . . x2 Axn 
 2
XT AX =  ..  A x1 x2 . . . , xn = 
,
..
 . 
 ...
. ... 
...
(2.16)
xTn Ax1 xTn Ax2 . . . xTn Axn
xTn
ta tính được trace(XT AX) =
Pn
xTi Axi . Nhắc lại rằng ∇xi xTi Axi = (A + AT )xi , ta có
∇X trace(XT AX) = (A + AT ) x1 x2 . . . xn = (A + AT )X
(2.17)
i=1
Bằng cách thay A = I, ta cũng thu được ∇X trace(XT X) = ∇X kXk2F = 2X.
2.4.10 f (X) = kAX − Bk2F
Bẵng kỹ thuật hoàn toàn tương tự như đã làm trong mục 2.4.4, ta thu được
∇X kAX − Bk2F = 2AT (AX − B)
2.5 Bảng các đạo hàm thường gặp
Bảng 2.1 bao gồm đạo hàm của các hàm số thường gặp với biến là vector hoặc đạo hàm.
Bảng 2.1: Bảng các đạo hàm cơ bản.
f (x)
∇f (x)
f (X)
∇X f (X)
x
I
trace(X)
I
aT x
a
trace(AT X)
A
T
x Ax
T
(A + A )x
T
trace(X AX)
(A + AT )X
xT x = kxk22 2x
trace(XT X) = kXk2F 2X
aT xT xb
aT Xb
kAx − bk22
2AT (Ax − b)
aT xxT b
(abT + baT )x
Machine Learning cơ bản
2aT bx
kAX − Bk2F
2AT (AX − B)
trace(AT XB)
ABT
abT
www.machinelearningcoban.com/ebook
29
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
2.6 Kiểm tra đạo hàm
Việc tính đạo hàm của hàm nhiều biến thông thường khá phức tạp và rất dễ mắc lỗi. Trong
thực nghiệm, có một cách để kiểm tra liệu đạo hàm tính được có chính xác không. Cách này
dựa trên định nghĩa của đạo hàm cho hàm một biến.
2.6.1 Xấp xỉ đạo hàm của hàm một biến
f (x + ε) − f (x)
(2.18)
ε→0
ε
Một cách thường được sử dụng là lấy một giá trị ε rất nhỏ, ví dụ 10−6 , và sử dụng công thức
f 0 (x) = lim
f 0 (x) ≈
f (x + ε) − f (x − ε)
2ε
(2.19)
Cách tính này được gọi là numerical gradient.
Biểu thức (2.19) được sử dụng rộng rãi hơn để tính numerical gradient. Có hai cách giải
thích cho vấn đề này.
Bằng giải tích
Chúng ta cùng quay lại một chút với khai triển Taylor.
Với ε rất nhỏ, ta có hai xấp xỉ sau:
f (x + ε) ≈ f (x) + f 0 (x)ε +
f ”(x) 2 f (3) 3
ε +
ε + ...
2
6
(2.20)
f (x − ε) ≈ f (x) − f 0 (x)ε +
f ”(x) 2 f (3) 3
ε −
ε + ...
2
6
(2.21)
và:
Từ đó ta có:
f (x + ε) − f (x)
f ”(x)
≈ f 0 (x) +
ε + · · · = f 0 (x) + O(ε)
ε
2
f (x + ε) − f (x − ε)
f (3) (x) 2
≈ f 0 (x) +
ε + · · · = f 0 (x) + O(ε2 )
2ε
6
trong đó O() là Big O notation.
(2.22)
(2.23)
Từ đó, nếu xấp xỉ đạo hàm bằng công thức (2.22) (xấp xỉ đạo hàm phải), sai số sẽ là O(ε).
Trong khi đó, nếu xấp xỉ đạo hàm bằng công thức (2.23) (xấp xỉ đạo hàm hai phía), sai số
sẽ là O(ε2 ). Khi ε rất nhỏ, O(ε2 ) O(ε), tức cách đánh giá sử dụng công thức 2.23 có sai
số nhỏ hơn, và vì vậy nó được sử dụng nhiều hơn.
Chúng ta cũng có thể giải thích điều này bằng hình học.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
30
Hình 2.1: Giải thích
cách xấp xỉ đạo hàm
bằng hình học.
2ε
f (x0 + ε) − f (x0 )
f (x0 + ε) − f (x0 − ε)
ε
ε
f (x0 ) − f (x0 − ε)
Bằng hình học
Quan sát Hình 2.1, vector màu đỏ là đạo hàm chính xác của hàm số tại điểm có hoành độ
bằng x0 . Vector màu xanh lam và xanh lục lần lượt thể hiện cách xấp xỉ đạo hàm phía phải
và phía trái. Vector màu nâu thể hiện cách xấp xỉ đạo hàm hai phía. Trong ba vector xấp
xỉ đó, vector xấp xỉ hai phía màu nâu là gần với vector đỏ nhất nếu xét theo hướng.
Sự khác biệt giữa các cách xấp xỉ còn lớn hơn nữa nếu tại điểm x, hàm số bị bẻ cong mạnh
hơn. Khi đó, xấp xỉ trái và phải sẽ khác nhau rất nhiều. Xấp xỉ hai bên sẽ ổn định hơn.
Từ đó ta thấy rằng xấp xỉ đạo hàm hai phía là xấp xỉ tốt hơn.
2.6.2 Xấp xỉ đạo hàm của hàm nhiều biến
Với hàm nhiều biến, công thức (2.23) được áp dụng cho từng biến khi các biến khác cố định.
Cụ thể, ta sử dụng định nghĩa của hàm số nhận đầu vào là một ma trận như công thức (2.3).
Mỗi thành phần của ma trận kết quả là đạo hàm của hàm số tại thành phần đó khi ta coi
các thành phần còn lại cố định. Chúng ta sẽ thấy rõ điều này hơn ở cách lập trình so sánh
hai cách tính đạo hàm ngay phía dưới.
Cách tính xấp xỉ đạo hàm theo phương pháp numerical thường cho giá trị khá chính xác.
Tuy nhiên, cách này không được sử dụng để tính đạo hàm vì độ phức tạp quá cao so với
cách tính trực tiếp. Tại mỗi thành phần, ta cần tính giá trị của hàm số tại phía trái và phía
phải, như vậy sẽ không khả thi với các ma trận lớn. Khi so sánh đạo hàm numerical này
với đạo hàm tính theo công thức, người ta thường giảm số chiều dữ liệu và giảm số điểm dữ
liệu để thuận tiện cho tính toán. Nếu công thức đạo hàm ta tính được là chính xác, nó sẽ
rất gần với đạo hàm numerical.
Đoạn Code 2.1 giúp kiểm tra đạo hàm của một hàm số khả vi f : Rm×n → R, có kèm theo
hai ví dụ. Để sử dụng hàm kiểm tra check_grad này, ta cần viết hai hàm. Hàm thứ nhất là
hàm fn(X) tính giá trị của hàm số tại X. Hàm thứ hai là hàm gr(X) tính giá trị của đạo hàm
mà ta cần kiểm tra.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
31
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
from __future__ import print_function
import numpy as np
def check_grad(fn, gr, X):
X_flat
= X.reshape(-1) # convert X to an 1d array -> 1 for loop needed
shape_X
= X.shape
# original shape of X
num_grad = np.zeros_like(X)
# numerical grad, shape = shape of X
grad_flat = np.zeros_like(X_flat) # 1d version of grad
eps
= 1e-6
# a small number, 1e-10 -> 1e-6 is usually good
numElems = X_flat.shape[0] # number of elements in X
# calculate numerical gradient
for i in range(numElems):
# iterate over all elements of X
Xp_flat
= X_flat.copy()
Xn_flat
= X_flat.copy()
Xp_flat[i] += eps
Xn_flat[i] -= eps
Xp
= Xp_flat.reshape(shape_X)
Xn
= Xn_flat.reshape(shape_X)
grad_flat[i] = (fn(Xp) - fn(Xn))/(2*eps)
num_grad = grad_flat.reshape(shape_X)
diff = np.linalg.norm(num_grad - gr(X))
print(’Difference between two methods should be small:’, diff)
# ==== check if grad(trace(A*X)) == A^T ====
m, n = 10, 20
A = np.random.rand(m, n)
X = np.random.rand(n, m)
def fn1(X):
return np.trace(A.dot(X))
def gr1(X):
return A.T
check_grad(fn1, gr1, X)
# ==== check if grad(x^T*A*x) == (A + A^T)*x
A = np.random.rand(m, m)
x = np.random.rand(m, 1)
====
def fn2(x):
return x.T.dot(A).dot(x)
def gr2(x):
return (A + A.T).dot(x)
check_grad(fn2, gr2, x)
Code 2.1: Kiểm tra đạo hàm bằng phương pháp numerical.
Kết quả:
Difference between two methods should be small: 2.02303323394e-08
Difference between two methods should be small: 2.10853872281e-09
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 2. GIẢI TÍCH MA TRẬN
32
Kết quả cho thấy sự khác nhau giữa Frobenious norm (mặc định của np.linalg.norm) của
kết quả của hai cách tính là rất nhỏ. Sau khi chạy lại đoạn code với các giá trị m, n khác
nhau và biến X khác nhau, nếu sự khác nhau vẫn là nhỏ, ta có thể tự tin rằng đạo hàm mà
ta tính được là chính xác.
Bạn đọc có thể tự kiểm tra lại các công thức trong Bảng 2.1 theo phương pháp này.
2.7 Tài liệu tham khảo
[1] Matrix calculus - Stanford
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
Chương 3
Ôn tập Xác Suất
Chương này được viết dựa trên Chương 2 và 3 của cuốn Computer Vision: Models, Learning,
and Inference - Simon J.D. Prince.
3.1 Xác Suất
3.1.1 Random variables
Một biến ngẫu nhiên (random variable) x là một đại lượng dùng để đo những đại lượng
không xác định. Biến này có thể được dùng để ký hiệu kết quả/đầu ra (outcome) của một
thí nghiệm, ví dụ như tung đồng xu, hoặc một đại lượng biến đổi trong tự nhiên, ví dụ như
nhiệt độ trong ngày. Nếu chúng ta quan sát rất nhiều đầu ra {xi }Ii=1 của các thí nghiệm này,
ta có thể nhận được những giá trị khác nhau ở mỗi thí nghiệm. Tuy nhiên, sẽ có những giá
trị xảy ra nhiều lần hơn những giá trị khác, hoặc xảy ra gần một giá trị này hơn những giá trị
khác. Thông tin về đầu ra này được đo bởi một phân phối xác suất (probaility distribution)
được biểu diễn bằng một hàm p(x). Một biến ngẫu nhiên có thể là rời rạc (discrete) hoặc
liên tục (continuous).
Một biến ngẫu nhiên rời rạc sẽ lấy giá trị trong một tập hợp các điểm rời rạc cho trước. Ví
dụ tung đồng xu thì có hai khả năng là head và tail 1 .Tập các giá trị này có thể là có thứ tự
như khi tung xúc xắc hoặc không có thứ tự, ví dụ khi đầu ra là các giá trị nắng, mưa, bão.
Mỗi đầu ra có một giá trị xác suất tương ứng với nó. Các giá trị xác suất này không âm và
có tổng bằng một.
X
Nếu x là biến ngẫu nhiên rời rạc thì
p(x) = 1
(3.1)
x
1
đồng xu thường có một mặt có hình đầu người, được gọi là head, trái ngược với mặt này được gọi là mặt tail
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
34
Biến ngẫu nhiên liên tục lấy các giá trị là các số thực. Những giá trị này có thể là hữu hạn,
ví dụ thời gian làm bài của mỗi thí sinh trong một bài thi 180 phút, hoặc vô hạn, ví dụ thời
gian phải chờ tới khách hàng tiếp theo. Không như biến ngẫu nhiên rời rạc, xác suất để đầu
ra bằng chính xác một giá trị nào đó, theo lý thuyết, là bằng không. Thay vào đó, xác suất
để đầu ra rời vào một khoảng giá trị nào đó là khác không. Việc này được mô tả bởi hàm
mật độ xác suất (probability density function - pdf ). Hàm mật độ xác suất luôn cho giá trị
dương, và tích phân của nó trên toàn miền giá trị đầu ra possible outcome phải bằng một.
Z
Nếu x là biến ngẫu nhiên liên tục thì
p(x)dx = 1
(3.2)
Nếu x là biến ngẫu nhiên rời rạc, thì p(x) ≤ 1, ∀x. Trong khi đó, nếu x là biến ngẫu
nhiên liên tục, p(x) có thể nhận giá trị không âm bất kỳ, điều này vẫn đảm bảo là tích
phân của hàm mật độ xác suất theo toàn bộ giá trị có thể có của x bằng một.
3.1.2 Xác suất đồng thời
Xét hai biến ngẫu nhiên x và y. Nếu ta quan sát rất nhiều cặp đầu ra của x và y, thì có
những tổ hợp hai đầu ra xảy ra thường xuyên hơn những tổ hợp khác. Thông tin này được
biểu diễn bằng một phân phối được gọi là xác suất đồng thời (joint probability) của x và y,
được ký hiệu là p(x, y), đọc là xác suất của x và y. Hai biến ngẫu nhiên x và ycó thể đồng
thời là biến ngẫu nhiên rời rạc, liên tục, hoặc một rời rạc, một liên tục. Luôn nhớ rằng tổng
các xác suất trên mọi cặp giá trị có thể xảy ra (x, y) bằng một.
X
Cả x và y là rời rạc:
p(x, y) = 1
(3.3)
Cả x và y là liên tục:
x rời rạc, y liên tục:
Z
x,y
p(x, y)dxdy = 1
XZ
x
p(x, y)dy =
Z
(3.4)
X
x
!
p(x, y) dy = 1
(3.5)
Xét ví dụ trong Hình 3.1, phần có nền màu lục nhạt. Biến ngẫu nhiên x thể hiện điểm thi
môn Toán của học sinh ở một trường THPT trong một kỳ thi Quốc gia, biến ngẫu nhiên y
thể hiện điểm thi môn Vật Lý cũng trong kỳ thi đó. Đại lượng p(x = x∗ , y = y ∗ ) là tỉ lệ giữa
tần suất số học sinh được đồng thời x∗ điểm trong môn Toán và y ∗ điểm trong môn Vật Lý
và toàn bộ số học sinh của trường đó. Tỉ lệ này có thể coi là xác suất khi số học sinh trong
trường là lớn. Ở đây x∗ và y ∗ là các số xác định. Thông thường, xác suất này được viết gọn
lại thành p(x∗ , y ∗ ), và p(x, y) được dùng như một hàm tổng quát để mô tả các xác suất. Giả
sử thêm rằng điểm các môn là các số tự nhiên từ 1 đến 10.
Các ô vuông màu lam thể hiện xác suất p(x, y), với diện tích ô vuông càng to thể hiện xác
suất đó càng lớn. Chú ý rằng tổng các xác suất này bằng một.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
35
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
(x) =
X
(x, y)
y
Xác suất biên
1
2
3
4
Xác suất đồng thời
9
8
8
7
4
x
5
X
(x, y)
6
y: Điểm Lý
10
9
(y) =
10
6
7
8
9
10
(x, y)
1
2
3
4
5
6
7
8
9
10
7
8
9
10
(x|y = 9)
7
6
5
4
3
3
2
2
1
5
1
2
3
4
5
6
(x|y = 3)
1
1
2
3
4
5
6
7
8
9
10
x: Điểm Toán
9
9
8
8
7
7
6
5
4
6
5
4
3
3
2
2
1
1
(y|x = 10)
10
(y|x = 2)
10
Xác suất
có điều kiện
Hình 3.1: Xác suất đồng thời (phần trung tâm có nền màu lục nhạt), Xác suất biên (phía trên
và bên trái) và Xác suất có điền kiện (phía dưới và bên phải).
Các bạn có thể thấy rằng xác suất để một học sinh được 10 điểm một Toán và 1 điểm môn
Lý rất thấp, điều tương tự xảy ra với 10 điểm môn Lý và 1 điểm môn Toán. Ngược lại, xác
suất để một học sinh được khoảng 7 điểm cả hai môn là cao nhất.
Thông thường, chúng ta sẽ làm việc với các bài toán ở đó xác suất có điều kiện được xác
định trên nhiều hơn hai biến ngẫu nhiên. Chẳng hạn, p(x, y, z) thể hiện joint probability của
ba biến ngẫu nhiên x, y và z. Khi có nhiều biến ngẫu nhiên, ta có thể viết chúng dưới dạng
vector. Cụ thể, ta có thể viết p(x) để thể hiện xác suất có điều kiện của biến ngẫu nhiên
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
36
nhiều chiều x = [x1 , x2 , . . . , xn ]T . Khi có nhiều tập các biến ngẫu nhiên, ví dụ x và y, ta có
thể biết p(x, y) để thể hiện xác suất có điều kiện của tất cả các thành phần trong hai biến
ngẫu nhiên nhiều chiều này.
3.1.3 Xác suất biên
Nếu biết xác suất đồng thời của nhiều biến ngẫu nhiên, ta cũng có thể xác định được phân
phối xác suất của từng biến bằng cách lấy tổng với biến ngẫu nhiên rời rạc hoặc tích phân
với biến ngẫu nhiên liên tục theo tất cả các biến còn lại:
X
Nếu x, y rời rạc : p(x) =
p(x, y)
(3.6)
y
p(y) =
X
p(x, y)
(3.7)
p(x, y)dy
(3.8)
p(x, y)dx
(3.9)
x
Nếu x, y liên tục : p(x) =
p(y) =
Z
Z
Với nhiều biến hơn, chẳng hạn bốn biến rời rạc x, y, z, w, cách tính được thực hiện tương tự:
X
p(x) =
p(x, y, z, w)
(3.10)
y,z,w
p(x, y) =
X
p(x, y, z, w)
(3.11)
z,w
Cách xác định xác suất của một biến dựa trên xác suất đồng thời của nó với các biến khác
được gọi là marginalization. Phân phối đó được gọi là xác suất biên (marginal probability).
P
Từ đây trở đi, nếu không đề cập gì thêm, chúng ta sẽ dùng ký hiệu
để chỉPchung cho
cả hai loại biến. Nếu biến Rngẫu nhiên là liên tục, bạn đọc ngầm hiểu rằng dấu Pcần được
thay bằng dấu tích phân , biến lấy vi phân chính là biến được viết dưới dấu . Chẳng
hạn, trong (3.11), nếu z là liên tục, w là rời rạc, công thức đúng sẽ là
!
Z X
X Z
p(x, y) =
p(x, y, z, w)dz =
p(x, y, z, w) dz
(3.12)
w
w
Quay lại ví dụ trong Hình 3.1 với hai biến ngẫu nhiên rời rạc x, y. Lúc này, p(x) được hiểu
là xác suất để một học sinh đạt được x điểm môn Toán. Xác suất này được thể hiện ở khu
vực có nền màu tím nhạt, phía trên. Nhắc lại rằng xác suất ở đây thực ra là tỉ lệ giữa số
học sinh đạt x điểm môn Toán và toàn bộ số học sinh. Có hai cách tính xác suất này. Cách
thứ nhất, dựa trên cách vừa định nghĩa, là đếm số học sinh được x điểm môn toán rồi chia
cho tổng số học sinh. Cách tính thứ hai dựa trên xác suất đồng thời đã biết về xác suất để
một học sinh được x điểm môn Toán và y điểm môn Lý. Số lượng học sinh đạt x = x∗ điểm
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
37
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
môn Toán sẽ bằng tổng số lượng học sinh đạt x = x∗ điểm môn Toán và y điểm môn Lý,
với y là một giá trị bất kỳ từ 1 đến 10. vì vậy, để tính xác suất p(x), ta chỉ cần tính tổng
của toàn bộ p(x, y) với y chạy từ 1 đến 10. Tương tự nếu ta muốn tính p(y) (xem phần bên
trái của khu vực nền tím nhạt).
Dựa trên nhận xét này, mỗi giá trị của p(x) chính bằng tổng các giá trị trong cột thứ x của
hình vuông trung tâm nền xanh lục. Mỗi giá trị của p(y) sẽ bằng tổng các giá trị trong hàng
thứ y tính từ đưới lên. Chú ý rằng tổng các xác suất luôn bằng một.
3.1.4 Xác suất có điều kiện.
Dựa vào phân phối điểm của các học sinh, liệu ta có thể tính được xác suất để một học sinh
được điểm 10 môn Lý, biết rằng học sinh đó được điểm 1 môn Toán?
Xác suất để một biến ngẫu nhiên x nhận một giá trị nào đó biết rằng biến ngẫu nhiên
y có giá trị y ∗ được gọi là xác suất có điều kiện (conditional probability), được ký hiệu là
p(x|y = y ∗ ).
Xác suất có điều kiện p(x|y = y ∗ ) có thể được tính dựa trên xác suất đồng thời p(x, y). Quay
lại Hình 3.1 với vùng có nền màu nâu nhạt. Nếu biết rằng y = 9, xác suất p(x|y = 9) có thể
tính được dựa trên hàng thứ chín của hình vuông trung tâm, tức hàng p(x, y = 9). Trong
hàng này, những ô vuông lớn hơn thể hiện xác suất lớn hơn.P
Tương ứng như thế, p(x|y = 9)
cũng lớn nếu p(x, y = 9) lớn. Chú ý rằng tổng các xác suất x p(x, y = 9) nhỏ hơn một, và
bằng tổng các xác suất trên hàng thứ chín này. Để thoả mãn điều kiện tổng các xác suất
bằng một, ta cần chia mỗi đại lượng p(x, y = 9) cho tổng của toàn hàng này. Tức là
p(x, y = 9)
p(x, y = 9)
=
p(x|y = 9) = P
p(y = 9)
p(x, y = 9)
(3.13)
x
Tổng quát,
p(x, y = y ∗ )
p(x, y = y ∗ )
p(x|y = y ∗ ) = P
=
p(x, y = y ∗ )
p(y = y ∗ )
(3.14)
x
ở đây ta đã sử dụng công thức tính xác suất biên trong (3.7) cho mẫu số. Thông thường, ta
có thể viết xác suất có điều kiện mà không cần chỉ rõ giá trị y = y ∗ và có công thức gọn hơn:
p(x|y) =
p(x, y)
p(y, x)
, và tương tự, p(y|x) =
p(y)
p(x)
(3.15)
Từ đó ta có quan hệ
p(x, y) = p(x|y)p(y) = p(y|x)p(x)
Machine Learning cơ bản
(3.16)
www.machinelearningcoban.com/ebook
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
38
Khi có nhiều hơn hai biến ngẫu nhiên, ta có các công thức
p(x, y, z, w) = p(x, y, z|w)p(w)
= p(x, y|z, w)p(z, w) = p(x, y|z, w)p(z|w)p(w)
= p(x|y, z, w)p(y|z, w)p(z|w)p(w)
(3.17)
(3.18)
(3.19)
Công thức (3.19) có dạng chuỗi (chain) và được sử dụng nhiều sau này.
3.1.5 Quy tắc Bayes
Công thức (3.16) biểu diễn xác suất đồng thời theo hai cách. Từ đây ta có thể suy ra quan
hệ giữa hai xác suất có điều kiện p(x|y) và p(y|x):
p(y|x)p(x) = p(x|y)p(y)
(3.20)
Biến đối một chút:
p(x|y)p(y)
p(x)
p(x|y)p(y)
= P
p(x, y)
p(y|x) =
(3.21)
(3.22)
y
p(x|y)p(y)
=P
p(x|y)p(y)
(3.23)
y
ở đó dòng thứ hai và thứ ba các công thức về xác suất biên và xác suất đồng thời ở mẫu số
đã được sử dụng. Từ (3.23) ta có thể thấy rằng p(y|x) hoàn toàn có thể tính được nếu ta
biết mọi p(x|y) và p(y). Tuy nhiên, việc tính trực tiếp xác suất này thường là phức tạp.
Ba công thức (3.21) - (3.23) thường được gọi là Quy tắc Bayes (Bayes’ rule).
Chúng được sử dụng rộng rãi trong Machine Learning
3.1.6 Biến ngẫu nhiên độc lập
Nếu biết giá trị của một biến ngẫu nhiên x không mang lại thông tin về việc suy ra giá
trị của biến ngẫu nhiên y (và ngược lại), thì ta nói rằng hai biến ngẫu nhiên là độc lập
(independent). Chẳng hạn, chiều cao của một học sinh và điểm thi môn Toán của học sinh
đó có thể coi là hai biến ngẫu nhiên độc lập.
Khi hai biến ngẫu nhiên x và y là độc lập, ta sẽ có:
p(x|y) = p(x)
p(y|x) = p(y)
(3.24)
(3.25)
Thay vào biểu thức xác suất đồng thời trong (3.16), ta có:
p(x, y) = p(x|y)p(y) = p(x)p(y)
Machine Learning cơ bản
(3.26)
www.machinelearningcoban.com/ebook
39
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
3.1.7 Kỳ vọng và ma trận hiệp phương sai
Kỳ vọng (expectation) của một biến ngẫu nhiên được định nghĩa là
X
E[x] =
xp(x) nếu x là rời rạc
E[x] =
Z
(3.27)
x
xp(x)dx
nếu x là liên tục
(3.28)
Giả sử f (.) là một hàm số trả về một số với mỗi giá trị x∗ của biến ngẫu nhiên x. Khi đó,
nếu x là biến ngẫu nhiên rời rạc, ta sẽ có
X
E[f (x)] =
f (x)p(x)
(3.29)
x
Công thức cho biến ngẫu nhiên liên tục cũng được viết tương tự.
Với xác suất đồng thời
E[f (x, y)] =
X
f (x, y)p(x, y)dxdy
(3.30)
x,y
Có ba tính chất cần nhớ về kỳ vọng:
1. Kỳ vọng của một hằng số theo một biến ngẫu nhiên x bất kỳ bằng chính hằng số đó:
E[α] = α
(3.31)
E[αx] = αE[x]
E[f (x) + g(x)] = E[f (x)] + E[g(x)]
(3.32)
(3.33)
2. Kỳ vọng có tính chất tuyến tính:
3. Kỳ vọng của tích hai biến ngẫu nhiên bằng tích kỳ vọng của hai biến đó nếu hai biến
ngẫu nhiên đó là độc lập.
E[f (x)g(y)] = E[f (x)]E[g(y)]
(3.34)
Khái niệm kỳ vọng thường đi kèm với khái niệm phương sai(variance) trong không gian một
chiều, và ma trận hiệp phương sai (covariance matrix ) trong không gian nhiều chiều.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
40
Với dữ liệu một chiều
Cho N giá trị x1 , x2 , . . . , xN . Kỳ vọng và phương sai của bộ dữ liệu này được tính theo công
thức:
N
1 X
1
xn = x1
N n=1
N
x̄ =
N
1 X
(xn − x̄)2
N n=1
σ2 =
(3.35)
(3.36)
với x = x1 , x2 , . . . , xN , và 1 ∈ RN là vector cột chứa toàn phần tử 1. Kỳ vọng đơn giản
là trung bình cộng của toàn bộ các giá trị. Phương sai là trung bình cộng của bình phương
khoảng cách từ mỗi điểm tới kỳ vọng. Phương sai càng nhỏ thì các điểm dữ liệu càng gần
với kỳ vọng, tức các điểm dữ liệu càng giống nhau. Phương sai càng lớn thì ta nói dữ liệu
càng có tính phân tán. Ví dụ về kỳ vọng và phương sai của dữ liệu một chiều có thể được
thấy trong Hình 3.2a. Căn bậc hai của phương sai, σ còn được gọi là độ lệch chuẩn (standard
deviation) của dữ liệu.
Với dữ liệu nhiều chiều
Cho N điểm dữ liệu được biểu diễn bởi các vector cột x1 , . . . , xN , khi đó, vector kỳ vọng và
ma trận hiệp phương sai của toàn bộ dữ liệu được định nghĩa là:
N
1 X
x̄ =
xn
N n=1
(3.37)
N
1
1 X
(xn − x̄)(xn − x̄)T = X̂X̂T
S=
N n=1
N
(3.38)
Trong đó X̂ được tạo bằng cách trừ mỗi cột của X đi x̄:
x̂n = xn − x̄
(3.39)
Một vài tính chất của ma trận hiệp phương sai:
• Ma trận hiệp phương sai là một ma trận đối xứng, hơn nữa, nó là một ma trận nửa xác
định dương.
• Mọi phần tử trên đường chéo của ma trận hiệp phương sai là các số không âm. Chúng
cũng chính là phương sai của từng chiều của dữ liệu.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
41
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
e2
σ1
e2
σ1
σ
σ2
x̄
σ2
x
(a)
e1
e1
(b)
(c)
Hình 3.2: Ví dụ về kỳ vọng và phương sai. (a) Trong không gian một chiều. (b) Trong không
gian hai chiều mà hai chiều không tương quan. Trong trường hợp này, ma trận hiệp phương sai
là ma trận đường chéo với hai phần tử trên đường chéo là σ1 , σ2 , đây cũng chính là hai trị riêng
của ma trận hiệp phương sai và là phương sai của mỗi chiều dữ liệu. (c) Dữ liệu trong không gian
hai chiều có tương quan. Theo mỗi chiều, ta có thể tính được kỳ vọng và phương sai. Phương
sai càng lớn thì dữ liệu trong chiều đó càng phân tán. Trong ví dụ này, dữ liệu theo chiều thứ hai
phân tán nhiều hơn so so với chiều thứ nhất.
• Các phần tử ngoài đường chéo sij , i 6= j thể hiện sự tương quan giữa thành phần thứ i
và thứ j của dữ liệu, còn được gọi là hiệp phương sai. Giá trị này có thể dương, âm hoặc
bằng không. Khi nó bằng không, ta nói rằng hai thành phần i, j trong dữ liệu là không
tương quan (uncorrelated ).
• Nếu ma trận hiệp phương sai là ma trận đường chéo, ta có dữ liệu hoàn toàn không tương
quan giữa các chiều.
Ví dụ về dữ liệu không tương quan và tương quan được cho trong Hình 3.2b và 3.2c.
3.2 Một vài phân phối thường gặp
3.2.1 Phân phối Bernoulli
Phân phối Bernoulli là một phân phối rời rạc mô tả các biến ngẫu nhiên nhị phân: trường
hợp đầu ra chỉ nhận một trong hai giá trị x ∈ {0, 1}. Hai giá trị này có thể là head và tail
khi tung đồng xu; có thể là giao dịch lừa đảo và giao dịch thông thường trong bài toán xác
định giao dịch lừa đảo trong tín dụng; có thể là người và không phải người trong bài toán
tìm xem trong một bức ảnh có người hay không.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
42
Bernoulli distribution được mô tả bằng một tham số λ ∈ [0, 1] và là xác suất để biến ngẫu
nhiên x = 1. Xác suất của mỗi đầu ra sẽ là
p(x = 1) = λ,
p(x = 0) = 1 − p(x = 1) = 1 − λ
(3.40)
Hai đẳng thức này thường được viết gọn lại:
p(x) = λx (1 − λ)1−x
(3.41)
với giả định rằng 00 = 1. Thật vậy, p(0) = λ0 (1 − λ)1 = 1 − λ, và p(1) = λ1 (1 − λ)0 = λ.
Phân phối Bernoulli thường được ký hiệu ngắn gọn dưới dạng
p(x) = Bernx [λ]
(3.42)
3.2.2 Phân phối Categorical
Cũng là biến ngẫu nhiên rời rạc, nhưng trong hầu hết các trường hợp, đầu ra có thể là một
trong nhiều hơn hai giá trị khác nhau. Ví dụ, một bức ảnh có thể chứa một chiếc xe, một
người, hoặc một con mèo. Khi đó, ta dùng một phân phối tổng quát của phân phối Bernoulli,
được gọi là phân phối Categorical. Các đầu ra được mô tả bởi một phần tử trong tập hợp
{1, 2, . . . , K}.
Nếu có K đầu ra, phân phối Categorical sẽ được mô tả bởi K tham số, viết dưới dạng vector:
λ = [λ1 , λ2 , . . . , λK ] với các λk không âm và có tổng bằng một. Mỗi giá trị λk thể hiện xác
suất để đầu ra nhận giá trị k:
p(x = k) = λk
(3.43)
Phân phối Categorical thường được ký hiệu dưới dạng:
p(x) = Catx [λ]
(3.44)
Nếu thay vì biểu diễn đầu ra là một số k trong tập hợp {1, 2, . . . , K}, ta biểu diễn đầu ra là
một vector ở dạng one-hot, tức một vector K phần tử với chỉ phần tử thứ k bằng một, các
phần tử còn lại bằng không. Nói cách khác, tập hợp các đầu ra là tập hợp các vector đơn vị
bậc K: x ∈ {e1 , e2 , . . . , eK } với ek là vector đơn vị thứ k. Khi đó, ta sẽ có
p(x = ek ) =
K
Y
x
λj j = λk
(3.45)
j=1
Khi x = ek , xk = 1, xj = 0, ∀j 6= k. Thay vào (3.45) ta sẽ được p(x = ek ) = λk = p(x = k).
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
43
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
µ = .5, σ 2 = .5
0.5
p(x)
0.4
µ = 0, σ 2 = 1
0.3
0.2
0.1
µ = −1, σ 2 = 2
0.0
−7.5
−5.0
−2.5
0.0
2.5
5.0
7.5
x
(a)
(b)
Hình 3.3: Ví dụ về hàm mật độ xác suất của (a) phân phối chuẩn một chiều, và (b) phân phối
chuẩn hai chiều.
3.2.3 Phân phối chuẩn một chiều
Phân phối chuẩn một chiều (univariate normal hoặc Gaussian distribution) được định nghĩa
trên các biến liên tục nhận giá trị x ∈ (−∞, ∞). Đây là một phân phối được sử dụng nhiều
nhất với các biến ngẫu nhiên liên tục. Phân phối này được mô tả bởi hai tham số: kỳ vọng
µ và phương sai (variance) σ 2 . Giá trị µ có thể là bất kỳ số thực nào, thể hiện vị trí của giá
trị mà tại đó mà hàm mật độ xác suất đạt giá trị cao nhất. Giá trị σ 2 là một giá trị dương,
với σ thể hiện độ rộng của phân phối này. σ lớn chứng tỏ khoảng giá trị đầu ra có khoảng
biến đổi mạnh, và ngược lại.
Hàm mật độ xác suất của phân phối này được định nghĩa là
(x − µ)2
1
exp −
p(x) = √
2σ 2
2πσ 2
(3.46)
Hoặc được viết gọn hơn dưới dạng p(x) = Normx [µ, σ 2 ], hoặc N (µ, σ 2 ).
Ví dụ về đồ thị hàm mật độ xác suất của phân phối chuẩn một chiều được cho trên Hình 3.3a.
3.2.4 Phân phối chuẩn nhiều chiều
Phân phối này là trường hợp tổng quát của phân phối chuẩn khi biến ngẫu nhiên là nhiều
chiều, giả sử là D chiều. Có hai tham số mô tả phân phối này: vector kỳ vọng µ ∈ RD và
ma trận hiệp phương sai Σ ∈ SD là một ma trận đối xứng xác định dương.
Hàm mật độ xác suất có dạng
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
p(x) =
1
(2π)D/2 |Σ|1/2
44
exp
1
(x − µ)T Σ −1 (x − µ)
2
(3.47)
với |Σ| là định thức của ma trận hiệp phương sai Σ.
Phân phối này thường được viết gọn lại dưới dạng p(x) = Normx [µ, Σ], hoặc N (µ, Σ).
Ví dụ về hàm mật độ sác xuất của một phân phối chuẩn hai chiều (bivariate normal distribution) được mô tả bởi một mặt cong cho trên Hình 3.3b. Nếu cắt mặt này theo các mặt
phẳng song song với mặt đáy, ta sẽ thu được các hình ellipse đồng tâm.
3.2.5 Phân phối Beta
Phân phối Beta (Beta distribution) là một phân phối liên tục được định nghĩa trên một biến
ngẫu nhiên λ ∈ [0, 1] Phân phối Beta distribution được dùng để mô tả tham số cho một
distribution khác. Cụ thể, phân phối này phù hợp với việc mô tả sự biến động của tham số
λ trong phân phối Bernoulli.
Phân phối Beta được mô tả bởi hai tham số dương α, β. Hàm mật độ xác suất của nó là
Γ (α + β) α−1
λ (1 − λ)β−1
(3.48)
p(λ) =
Γ (α)Γ (β)
với Γ (.) là hàm số gamma, được định nghĩa là
Z ∞
tz−1 exp(−t)dt
Γ (z) =
(3.49)
0
Trên thực tế, việc tính giá trị của hàm số gamma không thực sự quan trọng vì nó chỉ mang
tính chuẩn hoá để tổng xác suất bằng một.
Dạng gọn của phân phối Beta: p(λ) = Betaλ [α, β]
Hình 3.4 minh hoạ các hàm mật độ xác suất của phân phối Beta với các cặp giá trị (α, β)
khác nhau.
• Trong Hình 3.4a, khi α = β. Đồ thị của các hàm mật độ xác suất đối xứng qua đường
thẳng λ = 0.5. Khi α = β = 1, thay vào (3.48) ta thấy p(λ) = 1 với mọi λ. Trong trường
hợp này, phân phối Beta trở thành phân phối đều (uniform distribution). Khi α = β > 1,
các hàm số đạt giá trị cao tại gần trung tâm, tức là khả năng cao là λ sẽ nhận giá trị
xung quanh điểm 0.5. Khi α = β < 1, hàm số đạt giá trị cao tại các điểm gần 0 và 1.
• Trong Hình 3.4b, khi α < β, ta thấy rằng đồ thị có xu hướng lệch sang bên trái. Các giá
trị (α, β) này nên được sử dụng nếu ta dự đoán rằng λ là một số nhỏ hơn 0.5.
• Trong Hình 3.4c, khi α > β, điều ngược lại xảy ra với các hàm sồ đạt giá trị cao tại các
điểm gần 1.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
45
CHƯƠNG 3. ÔN TẬP XÁC SUẤT
(b)
(a)
(c)
Hình 3.4: Ví dụ về hàm mật độ xác suất của phân phối Beta. (a) α = β, đồ thị hàm số là đối
xứng. (b) α < β, đồ thị hàm số lệch sang trái, chứng tỏ xác suất λ nhỏ là lớn. (c) α > β, đồ thị
hàm số lệch sang phải, chứng tỏ xác suất λ lớn là lớn.
3.2.6 Phân phối Dirichlet
Phân phối Dirichlet chính là trưởng hợp tổng quát của phân phối Beta khi được dùng để mô
tả tham số của phân phối Categorical. Nhắc lại rằng phân phối Categorical là trường hợp
tổng quát của phân phối Bernoulli.
Phân phối Dirichlet được định nghĩa trên K biến liên tục λ1 , . . . , λK trong đó các λk không
âm và có tổng bằng một. Bởi vậy, nó phù hợp để mô tả tham số của phân phối Categorical.
Có K tham số dương để mô tả một phân phối Dirichlet: α1 , . . . , αK .
Hàm mật độ xác suất của phân phối Dirichlet là
P
K
Y
Γ( K
k=1 αk )
λαk k −1
p(λ1 , . . . , λK ) = QK
k=1 Γ (αk ) k=1
(3.50)
Cách biểu diễn ngắn gọn: p(λ1 , . . . , λK ) = Dirλ1 ,...,λK [α1 , . . . , αK ]
3.3 Tài liệu tham khảo
[1] Chương 2, 3 của Computer Vision: Models, Learning, and Inference. Simon J.D. Prince.
Machine Learning cơ bản
www.machinelearningcoban.com/ebook
Index
back substitution, 8
basic, 11
orthogonal, 13
orthonormal, 13
Bayes’ rule - quy tắc Bayes, 38
norm p, 19
null space, 11
numerical gradient, 29
conditional probability - xác suất có điều kiện, 37
pdf, xem probability density function, 34
positive definite matrix, 17
negative definite, 17
negative semidefinite, 17
positive semidefinite, 17
probability density function - hàm mật độ xác suất, 34
probability distribution - phân phối xác suất, 41
Bernoulli distribution, 41
Beta distribution, 44
Categorical distribution, 42
Dirichlet distribution, 45
multivariate normal distribution, 43
univariate normal distribution, 43
determinant, 9
diagonal matrix, 8
eigenvalues, 15
eigenvectors, 15
expectation - kỳ vọng, 39
forward substitution, 8
Hermitian, 5
identity matrix - ma trận đơn vị, 7
inner product – tích vô hướng, 6
inverse matrix - ma trận nghịch đảo, 7
orthogonal matrix, 13
random variable - biến ngẫu nhiên, 33
range space, 11
rank, 12
joint probability - xác suất đồng thời, 34
linear combination, 10
linear dependece, 10
linear independence, 10
marginal probability - xác suất biên, 36
marginalization, 36
Matrix calculus, 22
norm, 19
Frobenius norm, 20
norm 1, 20
norm 2, 19
span, 10
submatrix
leading principal matrix, 18
leading principal minor, 18
principal minor, 18
principal submatrix, 18
symmetric matrix, 5
triangular matrix, 8
lower, 8
upper, 8
unitary matrix, 13