Efficient Computation of Robust Low-Rank Matrix
Approximations in the Presence of Missing Data using
the L1 Norm
Jing Chen
2010.12.31
文章信息
标题
Efficient Computation of Robust Low-Rank Matrix
Approximations in the Presence of Missing Data using
the L1 Norm
出处
CVPR，2010
作者信息
Anders Eriksson
– 阿德雷德大学计算机科学系
Anton van den Hengel
– 职位
• Director ：The Australian Centre for Visual Technologies
• Professor ：CS, The University of Adelaide
– 研究领域
Video Trace, Rapid interactive scene modeling from video
Constrained Generalized Principal Component Analysis
Parameter Estimation
Camera calibration and ego-motion determination from image
sequences (structure from motion)
• Space carving
•
•
•
•
– 文章发表情况
• TIP’07, TOG’07…
Abstract
The calculation of a low-rank approximation of a matrix is a
fundamental operation in many computer vision applications. The
workhorse of this class of problems has long been the Singular Value
Decomposition. However, in the presence of missing data and
outliers this method is not applicable, and unfortunately, this is
often the case in practice.
In this paper we present a method for calculating the low-rank
factorization of a matrix which minimizes the L1 norm in the
presence of missing data. Our approach represents a generalization
the Wiberg algorithm of one of the more convincing methods for
factorization under the L2 norm. By utilizing the differentiability of
linear programs, we can extend the underlying ideas behind this
approach to include this class of L1 problems as well. We show that
the proposed algorithm can be efficiently implemented using
existing optimization software. We also provide preliminary
experiments on synthetic as well as real world data with very
convincing results.
摘要
矩阵低秩近似计算是许多计算机视觉应用的一项基本运算。
一直以来，解决该问题的主要方法是奇异值分解。然而，
在缺少数据和存在outliers时，奇异值分解的方法并不适
用，而且，不幸的是，实际应用中我们常常需要面对这种
情况。
在本文中，我们提出了一种方法，计算在数据丢失的情况
下最小化L1范数的矩阵低质分解。Wiberg算法是在L2范数
下进行矩阵分解的许多令人信服的方法之一。我们的方法
是该方法的一个泛化。通过利用线性规划的可微性，我们
将该方法扩张到L1范数下。
我们的研究表明，使用现有的优化软件，可以有效地实现
该算法。我们还提供了在合成数据以及现实世界的数据上，
有着非常令人信服结果的初步实验。
引言
低质矩阵分解
min Wˆ  Y  UV 
U ,V
Y R
mn
，U  R
mr
rn
,V  R ，W  R
范数
– L1-norm
A 1   aij
i, j
– L2-norm
A2
a
2
ij
i, j
mn
引言
低质矩阵分解研究意义
–
–
–
–
–
Structure from motion
Polyhedral object modeling from range images
Layer extraction
Recognition
Shape from varying illumination
当前方法的问题
– 以L2范数为测度
• 数据存在噪声或部分丢失
– 以L1范数为测度
• 能降低对outlier的敏感程度
• 在存在数据丢失情况的下：non-smooth & non-convex 
M.Turk and A. Pentland. Eigenfaces for recognition, Journal of Cognitive Neuroscience, 1991
引言
本文的工作
min Wˆ  Y  UV 
U ,V
1
Y  R mn，U  R mr ,V  R rn，W  R mn
– L1范数
– 存在缺失数据
– 非平滑性和计算需求
符号说明
I n : n  n单位矩阵
 : 阿达马乘积
 : 克罗内克积
u  vec(U )
v  vec(V )
符号说明
克罗克内积
相关工作——高斯牛顿算法
m
min  ri  x 
2
i 1
ri ：是关于x的非线性函数
相关工作-高斯牛顿算法
相关工作——Wiberg算法
min Wˆ  Y  UV 
U ,V
2
2
Y  R mn，U  R mr ,V  R rn，W  R mn
Start at some initial guess U
W  diag  wˆ 
wˆ  vec (Wˆ )
v  vec (V )
相关工作——Wiberg算法
min Wˆ  Y  UV 
U ,V
2
2
Y  R mn，U  R mr ,V  R rn，W  R mn
ˆ
W  diag  w
ˆ  vec (Wˆ )
w
v  vec (V )
相关工作——Wiberg算法
U
In U 
v1
v
...
U nmnr
C   I n U  v
 u1v1 
u v 
C 2 2




u
v
 m n
vr nr1
ui : U的第i行
v j : V 的第j列
相关工作——Wiberg算法
min Wˆ  Y  UV 
U ,V
2
2
Y  R mn，U  R mr ,V  R rn，W  R mn
ˆ
W  diag  w
ˆ  vec (Wˆ )
w
v  vec (V )
相关工作——Wiberg算法
min Wˆ  Y  UV 
U ,V
2
2
Y  R mn，U  R mr ,V  R rn，W  R mn
Start at some initial guess U(0)
At iteration k
问题转化为了关于v的线性最小二乘问题，可以解析求解
将v*代入优化目标
相关工作-Linear Programming and Differentiation
Canonical form
相关工作-Linear Programming and Differentiation
Canonical form
相关工作-Linear Programming and Differentiation
Canonical form
L1 - Wiberg Algorithm
Problem
Let V *(U) denote the optimal basic solution of (33)-(36)
L1 - Wiberg Algorithm
Let V *(U) denote the optimal basic solution of (33)-(36)
L1 - Wiberg Algorithm
Problem
L1 - Wiberg Algorithm
L1 - Wiberg Algorithm
在合成数据上的实验
[-1,1]均匀分布
随机去掉20%的点
再给10%的点叠加上[-5, 5]的均匀噪声
m=7, n=12, r=3
在合成数据上的实验结果
A histogram representing the
frequency of different magnitudes
of error in the estimate generated
by each of the methods.
[Frequency vs. Error]
在合成数据上的实验结果
Plots showing the norm of
the residual at each iteration
of two randomly generated
tests for both the L1 Wiberg
and alternated quadratic
programming algorithms.
[Residual norm vs.Iteration]
在合成数据上的实验结果
A plot showing the convergence rate of the alternated
quadratic programming and L1-Wiberg algorithms over
100 trials. The error are presented on a logarithmic scale.
[Log Error vs. Iteration]
在合成数据上的实验结果
在真实数据上的实验结果
Q&A
Thank you!