Introduction to Pattern Recognition for Human ICT
Review of Linear Algebra
2014. 9. 12
Hyunki Hong
Contents
•
Vector and matrix notation
•
Vectors
•
Matrices
•
Vector spaces
•
Linear transformations
•
Eigenvalues and eigenvectors
Vector and matrix notation
• A 𝑑-dimensional (column) vector 𝑥 and its transpose are
written as:
• An 𝑛×𝑑 (rectangular) matrix and its transpose are written
as
• The product of two matrices is
cf. The matrix product is associative. If three matrices A, B, and C are respectively m×p, p×q, and q×r matrices, then there
are two ways of grouping them without changing their order, and ABC = A(BC) = (AB)C is an m × r matrix.
Vectors
also known as
• The inner product (a.k.a. dot product or scalar product) of two
vectors is defined by:
• The magnitude of a vector is
• The orthogonal projection of vector 𝑦 onto vector 𝑥 is <𝑦T, 𝑢𝑥>
𝑢𝑥.
where vector 𝑢𝑥 has unit magnitude and the same direction as 𝑥
• The angle between vectors 𝑥 and 𝑦 is
• Two vectors 𝑥 and 𝑦 are said to be
1. orthogonal if 𝑥𝑇𝑦 = 0
𝑇
2. orthonormal
 cos  -ifsin𝑥 𝑦 = 0 and |𝑥| = |𝑦| = 1


ex)  sin  cos  


Vectors
• A set of vectors 𝑥1, 𝑥2, …, 𝑥𝑛 are said to be linearly dependent
if there exists a set of coefficients 𝑎1, 𝑎2, …, 𝑎𝑛 (at least one
different than zero) such that
𝑎 1 𝑥 1 + 𝑎 2 𝑥 2 + … + 𝑎𝑛𝑥𝑛 = 0
• Alternatively, a set of vectors 𝑥1, 𝑥2, …, 𝑥𝑛 are said to be
linearly independent if
𝑎 1 𝑥 1 + 𝑎 2 𝑥 2 + … + 𝑎𝑛𝑥𝑛 = 0 ⇒ 𝑎𝑘 = 0 ∀𝑘
Matrices
d

• The determinant of a square matrix 𝐴𝑑×𝑑 is
k 1
th
where 𝐴𝑖𝑘 is the minor formed by removing the i row and the
kth column of 𝐴
NOTE) The determinant of a square matrix and its transpose
is the same: |𝐴|=|𝐴𝑇|
• The trace of a square matrix 𝐴𝑑×𝑑 is the sum of its diagonal
d
elements.
| A|
tr ( A ) 
a
a ik | Aik | (-1)
kk
k 1
• The rank of a matrix is the number of linearly independent
rows (or columns).
• A square matrix is said to be non-singular if and only if its
rank equals the number of rows (or columns).
1. A non-singular matrix has a non-zero determinant.
k i
Matrices
• A square matrix is said to be orthonormal if 𝐴𝐴𝑇 = 𝐴𝑇𝐴 = 𝐼
• For a square matrix 𝐴
1. if 𝑥𝑇𝐴𝑥 > 0 ∀𝑥≠0, then 𝐴 is said to be positive-definite (i.e., the
covariance matrix)
2. 𝑥𝑇𝐴𝑥 ≥ 0 ∀𝑥≠0, then 𝐴 is said to be positive-semi-definite
• The inverse of a square matrix 𝐴 is denoted by 𝐴−1 and is such
that 𝐴𝐴−1 = 𝐴 −1 𝐴 = 𝐼
1. The inverse 𝐴−1 of a matrix 𝐴 exists if and only if 𝐴 is non-singular.
• The pseudo-inverse matrix 𝐴† is typically used whenever 𝐴−1
does not exist (because 𝐴 is not square or 𝐴 is singular).
1. One-sided inverse (left inverse or right inverse) If the matrix 𝐴 has
dimensions and is full rank then use the left inverse if and the
right inverse if
cf. Formally, given a matrix
satisfies the condition
and a matrix
,
is a generalized inverse of if it
Vector spaces
• The n-dimensional space in which all the n-dimensional
vectors reside is called a vector space.
• A set of vectors {𝑢1, 𝑢2, …, 𝑢𝑛} is said to form a basis for a
vector space if any arbitrary vector 𝑥 can be represented by a
linear combination of the {𝑢𝑖}
𝑥 = 𝑎1𝑢 1 + 𝑎2𝑢 2 + ⋯ + 𝑎𝑛𝑢𝑛
1. The coefficients {𝑎1, 𝑎2, …, 𝑎𝑛} are called the components of
vector 𝑥 with respect to the basis {𝑢𝑖}.
2. In order to form a basis, it is necessary and sufficient that the {𝑢𝑖}
vectors be linearly independent.
• A basis {𝑢𝑖} is said to be
• A basis {𝑢𝑖} is said to be
 0 i  j
T
u
u
orthogonal if i j 
 0 i  j
1 i  j
T
orthonormal if u i u j   0 i  j

1. As an example, the Cartesian coordinate base is
an orthonormal base.
Vector spaces
• Given n linearly independent vectors {𝑥1, 𝑥2, …, 𝑥𝑛}, we can
construct an orthonormal base {𝜙 1, 𝜙 2, …, 𝜙𝑛} for the vector
space spanned by {𝑥𝑖} with the Gram-Schmidt
orthonormalization procedure.
• The distance between two points in a vector space is defined
as the magnitude of the vector difference between the points
1
2

2
d E ( x, y )  | x - y |   ( xk - yk ) 
 k 1

d
This is also called the Euclidean distance.
Linear transformations
• A linear transformation is a mapping from a vector space 𝑋𝑁
onto a vector space 𝑌𝑀, and is represented by a matrix.
1. Given vector 𝑥 𝜖 𝑋𝑁, the corresponding vector y on 𝑌𝑀 is computed
as
2. Notice that the dimensionality of the two spaces does not need to
be the same.
3. For pattern recognition we typically have 𝑀<𝑁 (project onto a
lower-dimensional space).
Linear transformations
• A linear transformation represented by a square matrix 𝐴 is
said to be orthonormal when 𝐴𝐴𝑇=𝐴𝑇𝐴=𝐼
1. This implies that 𝐴𝑇=𝐴−1
2. An orthonormal x form has the property of preserving the
magnitude of the vectors
| y|
y y 
T
( Ax ) Ax 
T
x A Ax 
T
T
x x |x|
T
3. An orthonormal matrix can be thought of as a rotation of the
reference frame.
ex)  cos  - sin  

 sin 

cos  
선형변환 추가자료 참조
The rotation takes the vector (1,0) to (cosθ, sinθ) and the
vector (0, 1) to (cosθ, -sinθ) . This is just what we need,
since in a matrix the first column is just the output when
you put in a unit vector along the x-axis; the second
column is the output for a unit vector along the y-axis, and
so on. So the 2D rotation matrix is.. (cf. 시계방향이면,..)
Eigenvectors and eigenvalues
• Given a matrix 𝐴𝑁×𝑁, we say that 𝑣 is an eigenvector* if there
exists a scalar 𝜆 (the eigenvalue) such that
𝐴𝑣 = 𝜆𝑣
• Computing the eigenvalues
* The "eigen-" in "eigenvector" translates
as "characteristic“.
• The matrix formed by the column eigenvectors is called the
modal matrix M
1. Matrix Λ is the canonical form of A: a diagonal matrix with
eigenvalues on the main diagonal
• Properties
1. If Λ is non-singular, all eigenvalues are non-zero.
2. If Λ is real and symmetric, all eigenvalues are real.
The eigenvectors associated with distinct eigenvalues are
orthogonal.
3. If Λ is positive definite, all eigenvalues are positive
• If we view matrix 𝐴 as a linear transformation, an eigenvector
represents an invariant direction in vector space.
1. When transformed by 𝐴, any point lying on the direction defined by
𝑣 will remain on that direction, and its magnitude will be multiplied
by 𝜆.
2. For example, the transform that rotates 3-d vectors about the 𝑍
axis has vector [0 0 1] as its only eigenvector and 𝜆 = 1 as its
eigenvalue.
 cos 

A  sin 

 0
 sin 
cos 
0
0

0

1 
• Given the covariance matrix Σ of a Gaussian distribution
1. The eigenvectors of Σ are the principal directions of the
distribution.
2. The eigenvalues are the variances of the corresponding principal
directions
• The linear transformation defined by the eigenvectors of Σ
leads to vectors that are uncorrelated regardless of the form
of the distribution.
1. If the distribution happens to be Gaussian, then the transformed
vectors will be statistically independent.
01_벡터 이론
 벡터의 표현
 벡터 : 크기와 방향을 가지는 임의의 물리량
 패턴 인식에서는 인식 대상이 되는 객체가 특징으로 표현되고, 특징은 차원을 가진
벡터로 표현된다. 이러한 벡터를 특징 벡터(feature vector)라고 한다.
 특징 벡터에 대한 대수학적 계산을 위해서 특징 벡터를 행렬로 표현하여 d차원
공간상의 한 점의 데이터로 특징을 다루게 된다.
16
01_벡터 이론
 벡터의 전치 (transpose)
 N×1행렬을 1×N행렬로, 혹은 1×N 행렬을 N×1행렬로 행과 열을 바꾼 행렬
 벡터의 크기
 원점에서 벡터 공간상의 한 점까지의 거리
 단위 벡터
 벡터의 크기가 1인 벡터.
 만약, 벡터 v가 0이 아닌 벡터라면 v방향의 단위벡터 u
 벡터 v방향의 단위 벡터계산: 정규화
17
01_벡터 이론
 벡터의 곱셈 내적, 외적
 스칼라곱
 임의의 벡터에 임의의 스칼라(실수)를 곱하기
 내적 (dot product)
 차원이 동일한 두 개의 벡터 A,B에 대하여 대응되는 성분 별로 곱하여 합하는 것을
두 벡터의 '내적'이라고 함
 벡터의 내적의 결과는 실수 스칼라
= BTA
 두 벡터 사이의 각 θ가 주어질 경우, 내적 스칼라 C
18
01_벡터 이론
 외적
 A,B∈R3 (A,B가 3차원 벡터 공간상에 속한다)인 벡터 A,B가 다음과 같음
 벡터 외적의 크기는 A와 B를 이웃하는 두 변으로 하는 평행 사변형의 면적과 같음
 외적의 결과는 A와 B에 동시에 수직이며, 오른손의 엄지와 인지와 중지를 서로 수직이
되게 펴서 인지를 A방향, 중지를 B방향으로 할 때 엄지의 방향을 가르치는 벡터가 됨.
19
01_벡터 이론
 단위벡터의 내적 및 외적
z
k
j
y
i
x
20
01_벡터 이론
 수직 사영 (vector projection)
 벡터 x 에 대한 벡터 y의 방향 성분
 y 벡터를 x 벡터로 사영  벡터 x의 방향으로의 방향성분 계산
 사영 벡터는 내적의 정의를 사용하여 다음과 같이 정의
ux 은 x와 같은 방향의 단위 크기를 가지는 단위 벡터
◀ 벡터의 내적
 두 벡터 x와 y가 만약, xTy = 0 이면  두 벡터 x와 y는 수직(orthogonal)
 xTy = 0 이고 |x |= |y |= 1 이면, 두 벡터 x와 y는 정규 직교(orthonormal)
 Ex: 각 좌표축 방향으로의 방향벡터
21
01_벡터 이론
 선형 결합
 벡터 집합 {x1,x2,…,xm} 과 스칼라 계수 집합 {α 1, α2,…, α m} 과의 곱의 합으로 표현된
결과를 벡터 x의 ‘선형 결합(linear combination)’ 혹은 ‘1차 결합’ 이라고 함
 선형 종속과 선형 독립
 선형 종속 (linearly dependent)
 임의의 벡터 집합을 다른 벡터들의 선형 결합으로 표현할 수 있다면, 이 벡터 집합은 '선형
종속(linearly dependent)'이라고 함
 <{a1, a2, …, am}, {x1,x2,…,xm}> = 0
 선형 독립 (linearly independent)
 만약, 아래 식을 만족하는 유일한 해가 모든 i에 대하여 αk = 0, {x1, x2, …, xm} 는 '선형
독립(linearly independent)'이라고 함
22
01_벡터 이론
 기저 집합
 N 차원의 모든 벡터를 표현할 수 있는 기본 벡터의 집합
 임의의 벡터는 기저 벡터 집합을 통하여 N×1 벡터 공간에 펼쳐진다고 표현 (span)
 만약, {vi}1≤i≤N 이 기저 벡터 집합이라면, 임의의 N×1 벡터 x는 다음과 같이 표현함
 임의의 벡터 x가 {ui} 의 선형 조합으로 표현된다면 벡터 집합 {u1, u2, …, un}을 N 차원
공간의 기저(basis) 라고 함.
 벡터집합 {ui}이 기저벡터가 되기 위해서는 서로 선형 독립이어야 함.
다음 조건을 만족하면 기저 {ui}는 직교
다음 조건을 만족하면 기저 {ui}는 정규직교
» 직각좌표계의 단위벡터
23
01_벡터 이론
24
01_벡터 이론
 그램-슈미트 정규 직교화 (Gram-schmidt Orthonormalization)
 서로 선형 독립인 n개의 기저 벡터 {x1, x2, …, xm} 가 주어졌을 때, 정규직교(orthonormal)
기저 벡터 집합 {p1, p2, …, pn} 을 계산하는 과정
 기저  직교기저로 변환하는 과정
 {v1, …, vn} 을 벡터공간 V의 기저(basis)라고 하면, 직교 벡터 집합 {u1, …, un}은 다음
관계로부터 계산 가능
 V에 대한 정규직교기저(orthonormal basis)는 각각의 벡터 u1, …, un 을 정규화하면 됨.
정규 직교 벡터
25
01_벡터 이론
 그램-슈미트 정규 직교화 (Gram-schmidt Orthonormalization)
 Example:
26
01_벡터 이론
 유클리디안 거리
 벡터 공간상에서 두 점 간의 거리는 점 사이 벡터 차의 크기로 정의
27
01_벡터 이론
 벡터 공간, 유클리드 공간,함수 공간, 널 공간 (null space)
 모든 n차원 벡터들이 존재하는 n차원 공간
 실제, 벡터 공간은 실수에 의하여 벡터 덧셈과 곱셈에 대한 규칙에 닫혀있는 벡터 집합
 그러므로 임의의 두 벡터에 대한 덧셈과 곱셈을 통하여 해당 벡터 공간 내에 있는 새로운
벡터를 생성할 수 있음
 즉, n차원 공간 Rn 은 모두 선형독립인 n개의 n차원 벡터에 의해 생성될 수 있음
 이 때 n차원 공간 Rn 을 '유클리드 n차원 공간' 혹은 '유클리드 공간'이라고 함
 벡터의 차원이 무한대일 경우, 벡터 공간은 ‘함수 공간’이 됨
 행렬 A의 널 공간은 Ax = 0를 만족하는 모든 벡터 x로 이루어져 있는 공간을 뜻한다.
28
02_행렬 대수
 전치행렬 (transpose)
 정방행렬 (square matrix)
 행의 수와 열의 수가 동일한 행렬
29
02_행렬 대수
 대각 행렬 (diagonal matrix)
 행렬의 대각 성분을 제외하고는 모두 0인 행렬
 스칼라 행렬 : 대각 성분이 모두 같고, 비대각 성분이 모두 0인 정방행렬
 항등 행렬 혹은 단위 행렬 (identity matrix)
 대각 성분이 모두 1이고 그밖의 성분이 모두 0인 정방행렬
30
02_행렬 대수
 대칭 행렬 (symmetric matrix)
대칭행렬 예: 공분산행렬
 대각선을 축으로 모든 성분이 대칭되는 행렬
 영 행렬
 모든 구성 성분이 0인 행렬
 직교 행렬 (orthogonal matrix)
 주어진 행렬 A가 정방행렬일 때,
 행렬의 각 열(column)이 서로 직교
 회전 변환과 관계 있는 경우가 많음.
를 만족하는 행렬
For an
orthogonal
matrix,
U U I
T
Det = 1:
rotational transformation
Det = -1:
reflective transformation,
or axis permutation.
정방행렬 A의 각 행벡터(또는 열벡터)들이
상호직교인 단위벡터(orthonormal vector)로 이루어짐.
31
02_행렬 대수
 행렬의 곱셈
 행렬의 트레이스(trace) – 정방행렬에서 대각 성분의 합
 행렬의 고유값 문제에서 고유근을 구할 때 매우 중요한 역할을 함
32
02_행렬 대수
 행렬의 계수(rank)
 행렬에서 선형 독립인 열벡터(혹은 행벡터)의 개수
 다음과 같은 정방행렬 A가 주어질 경우,
 행렬 A 는 세 개의 열벡터 e1, e2, e3 를 사용하여 A = (e1, e2, e3) 로 표현할 수 있음
 행렬 A 의 계수는 정의에 의해 이들 열벡터 중에서 선형 독립인 벡터의 개수를 말함
 A 행렬은 세 벡터가 모두 단위 벡터이고 모두 선형 독립이므로 rank(A) = 3
 행렬의 계수는 주어진 행렬의 행의 수나 열의 수보다 클 수 없음
 rank(An × n) = n  행렬 A는 비특이(nonsingular)행렬 혹은 정칙행렬
 rank(An × n) < n  행렬 A는 특이(singular)행렬
» 역행렬이 존재하지 않음. (not invertible, rank deficient, degenerate, etc…)
33
02_행렬 대수
 행렬식 (determinant)
또는 행렬값
 행렬식은 행렬을 어떠한 하나의 실수 값으로 표현한 것을 말함
 d×d 정방 행렬 A에 대해 행렬식은 |A| 혹은 det A 으로 표현하며 다음과 같은 성질을 가짐
 행렬식은 오직 정방 행렬에서만 정의된다.
 구성 성분이 하나인 행렬의 행렬식은 그 성분 자체이다.
 행렬식의 값은 하나의 상수 즉, 임의의 실수이다.
 n차의 행렬식 |An×n| 은 n개의 행과 열의 위치가 서로 다른 성분들의 곱의 합으로
표현된다.
» 2x2 행렬의 행렬식
» 3x3 행렬의 행렬식
34
02_행렬 대수
 소행렬식 (minor)
 행렬에서 i번째 열과 j번째 행을 제거함으로써 얻는 행렬
 행렬식 계산의 일반화
 여기서 |Mij| 를 i번째 열과 j번째 행을 제거함으로써 얻어지는 소행렬식이라고 함
 임의의 행이나 열을 중심으로 전개하여도 결과는 같음  라플라스(Laplace) 전개
 라플라스 전개 시 부호
 aij 의 아래첨자 혹은 소행렬식 |Mij|의 아래첨자의 합이 짝수면 ＋, 홀수면 －가 됨
 소행렬식 |Mij|에 부호 부분 (-1)i+j 까지 곱한 항을 여인수 Aij라고 함
35
02_행렬 대수
 Ai | j 를 d x d 행렬이라고 할 때 소행렬식으로 A의 행렬식은 순환적으로 구할 수 있음
 i번째 행을 중심으로 전개
 행렬식의 성질
 삼각행렬의 행렬식의 값은 대각 성분의 곱
 전치행렬의 행렬식은 원래 행렬의 행렬식과 같다.
36
02_행렬 대수
 역행렬 (inverse matrix)
 대수 연산에서 임의의 수를 곱하여 1이 될 때, 이를 '역수'라고 함
 역수를 행렬 대수에 적용했을 때, AX = I 가 되는 X가 존재할 경우에 이 행렬 X를 A의
역행렬이라고 하며 A-1 로 표현한다.
 역행렬의 성질
37
02_행렬 대수
 고유값과 고유벡터 (eigenvalues and eigenvectors)
 행렬 A가 n×n의 정방 행렬이고, x ≠ 0인 벡터 x ∈ Rn 가 존재할 때
 다음 관계를 만족하는 스칼라 λ를 행렬 A의 고유값이라고 함
 벡터 x는 λ에 대응하는 A의 고유 벡터라고 함
Ax   x
 고유값의 계산
A x   x  A x   x  0  ( A   I ) x  0  x  0 or ( A   I ) x  0
 동차일차 연립방적식 Ax = 0에서 x = 0이 아닌 해를 얻는 유일한 경우는 |A| = 0인 경우
 따라서 위 식을 만족하려면 |A –λI| = 0일 때 x ≠0 인 해가 존재하게 된다.
 이때 |A –λI| = 0이라는 식을 A의 '특성 방정식'이라고 함
(A  I)  0  A  I  0  
N
 a1 
N 1
 ...  a N 1   a 0  0
 A를 n×n 행렬이라 하고, λ를 A의 고유값이라고 한다.
 N 개의 고유값과 고유 벡터를 구할 수 있다.
 고유벡터로 정의되는 부분 공간을 A의 고유 공간이라고 한다.
38
02_행렬 대수
 고유값과 고유벡터 (eigenvalues and eigenvectors)
 기하학적 의미
행렬(선형변환) A의 고유벡터는 선형변환 A에 의해 방향은 보존되고 스케
일(scale)만 변화되는 방향 벡터를 나타내고, 고유값은 그 고유벡터의 변화되
는 스케일 정도를 나타내는 값.
예) 지구의 자전운동과 같이 3차원 회전변환을 생각했을 때, 이 회전변환에
의해 변하지 않는 고유벡터는 회전축 벡터이고 그 고유값은 1
39
02_행렬 대수
 고유값과 고유벡터 (eigenvalues and eigenvectors)
 Application example
In this shear mapping, the red arrow changes direction but the blue arrow does not.
Therefore the blue arrow is an eigenvector, with eigenvalue 1 as its length is
unchanged
40
02_행렬 대수
 고유값과 고유벡터의 성질
 대각 행렬의 고유값은 대각 성분 값이다
 삼각 행렬의 고유값은 이 행렬 대각 성분 값이다
 벡터 x가 행렬 A의 고유 벡터이면 벡터 x의 스칼라 곱인 kx도 고유 벡터이다
 전치하여도 고유값은 변하지 않는다.
 행렬 A의 고유값과 전치 행렬 AT 의 고유값은 동일하다
 역행렬의 고유값은 원래 행렬의 고유값의 역수가 된다.
 행렬 A의 모든 고유값의 곱은 A의 행렬식과 같다
 서로 다른 고유값과 관련된 고유 벡터는 선형 독립이다.
 실수 대칭행렬의 고유 벡터는 서로 직교한다.
 실수 대칭 행렬의 고유값 또한 실수이다.
 만약 A가 양의 정부호 행렬이라면 모든 고유값은 양수이다.
41
02_행렬 대수
 고유값과 고유벡터 (eigenvalues and eigenvectors)
42
02_행렬 대수
 대각화와 특이벡터, 특이값
 A의 고유값이 λ1, …, λn ,이에 대응하는 1차 독립인 고유벡터가 v1, …, vn 이라고 할 때, C를
다음과 같이 v1, …, vn 을 열벡터로 하는 행렬이라고 하자.
 Avn = λnvn 이므로, 행렬 곱셈을 열로 표현하면 다음을 얻을 수 있다.
AC = CΛ → A = CΛC-1
: 행렬 A는 자신의 고유벡터들을 열벡터로 하는 행렬과 고유값을 대
각원소로 하는 행렬의 곱으로 대각화 분해 가능 = eigen
decomposition
행렬 A의 대각화
 n×n행렬 A가 n개의 1차 독립인 고유벡터를 가진다면, 이 고유벡터들은 A를 대각화하는 행렬
C의 열들로 사용될 수 있다. 그리고 대각행렬은 A의 고유값을 대각원소로 가진다.
43
02_행렬 대수
 2차 형식
 3개의 변수 x, y, z의 2차 형식(quadratic form)은 다음과 같은 동차 함수식을 말함
 2차 함수이기 때문에 2차 형식이라고 한다.
F = ax2 + by2 + cz2 + 2fxy + 2gyz + 2hzx
 행렬을 이용하여 표시하면
 일반화하면
 x=(x1, x2, …, xn), A = (aij)라고 할 때
44
02_행렬 대수
 SVD : 특이값 재구성 (Singular Value Decomposition)
 어떤 n×m 행렬 A는 다음과 같은 형태의 세 가지 행렬의 곱으로 재구성할 수 있다
 U는 특이 벡터를 이루는 열로 구성되며, VT는 특이 벡터를 이루는 행으로 구성된다.
 m×m행렬 U의 행은 AAT 의 고유 벡터.
 n×n 행렬 V의 행은 ATA 의 고유 벡터.
 Σ은 n×m 인 대각행렬로, 대각성분은 0이 아닌 양수로 구성되며, 이 대각성분을
특이값이라고 한다.
 Σ의 특이값들은 AAT와 ATA 의 고유값의 자승근에 해당한다.
 영이 아닌 특이값의 수는 행렬 A의 행렬의 계수(rank)와 같다.
45
† Singular
Value Decomposition
A matrix A can be factorized as the following form:
A m  n  U m  m Σ m  n Vn n
T
 1

0

 
Σ  
0
 

 0
0

2



0


0

0 

0

 

n
 

0 
(m  n)
U and V are orthogonal, and Σ is
diagonal.
1   2     n  0
U U I
T
det = 1:
rotational transformation
V V I
T
det = -1:
(orthogonal) reflective transformation,
or axis permutation.
46
참조: Singular Value Decomposition (SVD)
 A rectangular matrix A can be broken down into the product of three
matrices: an orthogonal matrix U, a diagonal matrix S, and the transpose of
an orthogonal matrix V.
Amn = UmmSmnVnnT
, where UTU = I, VTV = I ; the coloumns of U are orthonormal eigenvectors
of AAT, the columns of V are orthonormal eigenvectors of ATA. S is a
diagonal matrix containing the square roots of eigenvalues from U or V in
descending order.
 Example
 3
A
 1
1
3
1

1
- To find U, we have to start with AAT.
3

T
A  1

 1
 1

3 ,

1 
AA
T
 3
 
 1
1
3
3
1 
 1
1 
 1
 1
 11
3  

1
1 
1

11 
47
참조: Singular Value Decomposition (SVD)
- To find the eigenvalues & corresponding eigenvectors of AAT.
11    x1  x 2
11 x1  x 2   x1
 x1 
11 1   x1 

     
x1  11 x 2   x 2
x1  11    x 2
 1 11   x 2 
 x2 
11   
1
1
11   
0
11   11     1  1  0
   10   12   0
0
- For λ= 10, 11  10  x1  x 2  0
For λ= 12, 11  12  x1  x 2  0
0

x1   x 2

x1  x 2


[1,  1]
[1, 1]
- These eigenvectors become column vectors in a matrix
ordered by the size of the corresponding eigenvalue.
1

1
1 

 1
- Convert this matrix into an orthogonal matrix which we do by
applying the Gram-Schmidt orthonormalization process to the
column vectors.
48
참조: Singular Value Decomposition (SVD)
1) Begin by normalizing v1.
 1
w 2  v 2  u 1  v 2  u 1  1,  1  
,
 2
2) normalize
u2
- The calculation of V:
w2
w2

v1
 1

,
2
2
 2
1 1
[1, 1]
1 
 1



1
,

1

,


2
 2
 1
 
,
 2
3

T
A A 1

 1
v1
u1 
1 

2
 1
 3
3 
 1

1 
1
3
10
1 
 0
1 
 2
0
1 

2
1 
  1,  1  [ 0 , 0 ]  1,  1
2
1 
 1


2
2
U  

1
1


 2
2 
2

4

2 
10
4
1) find the eigenvalues of ATA by
10

0

 2
0
10
4
2   x1 
 x1 
 
 
4 x2   x2
 
 
 x 3 
2   x 3 
10   
0
2
0
10   
4
2
4
2   
0
λ = 0, 10, 12
49
참조: Singular Value Decomposition (SVD)
2) λ = 12일 때, v1 = [1, 2, 1]
1

2

 1
λ = 10일 때, v2 = [2, -1, 0]
λ = 0일 때, v3 = [1, 2, -5]
3) an orthonormal matrix
w 2  v 2  u 1  v 2  u 1  2 ,
u1 
 1,
0 ,
v1
v1
u2 
 2
w 3  v 3  u1  v 3  u1  u 2  v 3  u 2  
,
3

4) Amn = UmmSmnVnn
 1

  2
1

 2
1 

2  12

1  0

2 
0
10



0 

0 



 1

,
 6
w2
4
3
T
1
2
6
2
6
1
5
1
5
2
30
30
1 

6

 3
0  
  1
5 

30 
1
3
,
1

1



V  




1
0
2
1 

6
,
6
1
 2
 
,
 5
w2
1 

2

 5 
2
,
5

0

w3
10 
 1
,
u


,
3

3 
w3
 30
1
2
6
2
5
1
6
1
5
6
0
1 

30

2 
,
30 
5 

30 
V
T



 




2
,
30
1
2
6
2
6
1
5
1
5
2
30
30
5 

30 
1 

6

0 

5 

30 
50
† Singular
Value Decomposition
Given a matrix A, it can be factorized as the following form:
A m  n  U m  m Σ m  n Vn n
T
Example:
(m  n)
Ax  x'
x
For a matrix A such that :
Rotation by V:
x
T
V x
And then, rotated again by U:
U Σ V x  Ax
T
Scaling by Σ :
T
ΣV x
51
02_행렬 대수
 선형 변환
데이터의 변환
 벡터 공간 XN 으로부터 벡터 공간 YM 상으로의 사상 (mapping)
 벡터 x ∈XN 가 주어질 때 YM 상에 대응 되는 벡터 y는 다음과 같이 계산한다.
 선형 변환이 이루어지는 두 벡터 공간의 차원이 같을 필요는 없다.
 선형 변환 행렬이 정방행렬 A이고 AAT = ATA = I 일 때, 정규직교한다고 말한다.
 cos 

 sin 
- sin  
,
cos  
- 1

0
0

- 1
52
02_행렬 대수
 정규 직교이면 AT=A-1 이다.
 정규직교 변환하게 되면, 다음 식에서 벡터의 크기를 보존하는 성질을 가짐을 알 수 있다.
 정규직교 변환의 행벡터 (a1,a2,…,aN) 는 정규 직교 기저 벡터집합을 형성한다.
53