‫گروه بینایی ماشین و‬
‫پردازش تصویر‬
Machine Vision and Image Processing Group (Student Group)
Electronic Research Center of Iran University of Science and Technology
http://mvip.iust.ac.ir
Specific Object Recognition using SIFT
Presentation by:
Amir Azizi
1389 ‫آبان‬
November 2010
Introduction
Example for specific object recognition:
Search photos on web for the particular places
j. sivic
amir.s.azizi@gmail.com
1
Introduction
Why is it difficult?
j. sivic
amir.s.azizi@gmail.com
2
Challenges
1- Viewpoint
3
amir.s.azizi@gmail.com
Challenges
2- Illumination
4
amir.s.azizi@gmail.com
Challenges
3- Occlusion
5
amir.s.azizi@gmail.com
Challenges
4- Scale
6
amir.s.azizi@gmail.com
Challenges
5- Deformation
7
amir.s.azizi@gmail.com
6- Background
Clutter
Challenges
8
amir.s.azizi@gmail.com
Local Features
New
Local Features (Interest
points or key points):
☺ Corners
☺ Blobs
Dataset
Some of applications:
- Specific object recognition
- Tracking
- Image registration
- Camera calibration
- ….
9
amir.s.azizi@gmail.com
Local Features
Desired Properties of local features:
* Repeatability
- The same feature can be found in several images despite geometric
and photometric transformation
* Distinctiveness
- Each feature has a distinctive description
* Locality
- A feature occupies a relatively small area of the image;
robust to clutter and occlusion
* Quantity
- Number of features
* Efficiency
- Applications that need to speed
amir.s.azizi@gmail.com
10
‫‪Local feature-based object recognition‬‬
‫مراحل‪:‬‬
‫‪ -1‬آشکارساز (‪:)Detector‬‬
‫استخراج نقاط کلیدی‬
‫‪ -2‬توصیف کننده (‪:)Descriptor‬‬
‫ساخت بردار ویژگی برای هر نقطه کلیدی‬
‫‪ -3‬انطباق (‪)Matching‬‬
‫انطباق بردارهای ویژگی با دیتاست‬
‫نیرومندی نسبت به موارد زیر‪:‬‬
‫‬‫‬‫‬‫‬‫‬‫‪-‬‬
‫تغییر نقطه دید‬
‫تغییر روشنایی‬
‫تغییر شکل و کجی‬
‫تغییر اندازه‬
‫انسداد‬
‫شلوغی و درهم برهمی‬
‫سرعت نیز اهمیت دارد‬
‫‪11‬‬
‫‪amir.s.azizi@gmail.com‬‬
Local feature-based object recognition
‫توصیف کننده ها‬
-
Hessian-Laplace
Hessian-Affine
Shape Context
Geometric Blur
SIFT Descriptor
SURF Descriptor
‫آشکارسازها‬
-
Harris
Harris-Laplace
Harris-Affine
MSER
Salient Regions
SIFT Detector (DoG)
SURF Detector
12
amir.s.azizi@gmail.com
SIFT
SIFT: Scale Invariant Feature Transform
1999 and 2004
13
amir.s.azizi@gmail.com
Hessian Matrix
In mathematics, the Hessian matrix (or simply the Hessian) is the
square matrix of second-order partial derivatives of a function; that
is, it describes the local curvature of a function of many variables.
We want to find Blobs, so
SIFT uses extrema of Hessian matrix trace:
𝐿𝑥𝑥 (𝑥, 𝑦, 𝜎)
𝐻=
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑥𝑥
𝜕2
𝑥, 𝑦, 𝜎 = 2 𝑃
𝜕𝑥
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = 𝐿𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
14
amir.s.azizi@gmail.com
1- SIFT Detector
.‫ آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند‬:‫هدف‬
1- Lindeberg 1994,1998
2- Koendernik 1984
SCALE-SPACE
𝐿 𝑥, 𝑦, 𝜎 = 𝐺 𝑥, 𝑦, 𝜎 ∗ 𝑓(𝑥, 𝑦)
Scale = σ
15
amir.s.azizi@gmail.com
1- SIFT Detector
SCALE-SPACE
𝐿 𝑥, 𝑦, 𝜎 = 𝐺 𝑥, 𝑦, 𝜎 ∗ 𝑓(𝑥, 𝑦)
𝐿𝑥𝑥 (𝑥, 𝑦, 𝜎) 𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐻=
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎) 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = 𝐿𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = (𝐺𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐺𝑦𝑦 (𝑥, 𝑦, 𝜎)) ∗ 𝑓(𝑥, 𝑦)
𝐿𝑜𝐺 = 𝛻 2 𝐺
𝐺 𝑥, 𝑦, 𝑘𝜎 − 𝐺 𝑥, 𝑦, 𝜎 ≈ (𝑘 − 1)𝜎 2 𝛻 2 𝐺
DoG
Mikolajczyk 2002: normalized Laplacian gives more robust features
amir.s.azizi@gmail.com
16
1- SIFT Detector
:‫ساخت هرم‬
Down
sampling
17
amir.s.azizi@gmail.com
1- SIFT Detector
:‫آشکارسازی اکسترمم ها‬
18
amir.s.azizi@gmail.com
1- SIFT Detector
:‫تعیین محل دقیق نقطه کلیدی‬
19
amir.s.azizi@gmail.com
‫‪1- SIFT Detector‬‬
‫حذف نقاط کلیدی ناپایدار‪:‬‬
‫* نقاط دارای کنتراست پایین‬
‫* نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند‬
‫‪20‬‬
‫‪amir.s.azizi@gmail.com‬‬
2- SIFT Descriptor
‫تخصیص جهت به نقاط کلیدی‬
21
amir.s.azizi@gmail.com
Rotation Invariance:
2- SIFT Descriptor
22
amir.s.azizi@gmail.com
2- SIFT Descriptor
4 × 4 × 8 = 128
So we have a feature vector with 128 dimensions
amir.s.azizi@gmail.com
23
‫‪3- Matching‬‬
‫روش ‪ David Lowe‬برای انطباق‬
‫* ساخت درخت ‪ k-d‬دارای ‪ k‬بعد‬
‫* محاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست به کمک روش ‪BBF‬‬
‫* نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه می شود‬
‫‪24‬‬
‫* در انتها برای افزایش‬
‫دقت شناسایی نسبت به‬
‫تغییر شکل و استتار از‬
‫تبدیل هاف نیز استفاده می‬
‫شود‪.‬‬
‫‪amir.s.azizi@gmail.com‬‬
‫با سپاس از توجه شما‬
‫؟‬
amir.s.azizi@gmail.com