硕士学位论文
晶圆表面缺陷视觉检测研究
RESEARCH ON VISUAL INSPECTION OF WAFER
SURFACE DEFECTS
郭毅强
哈尔滨工业大学
2018 年 12 月
万方数据
国内图书分类号：TP23621
学校代码：10213
国际图书分类号：621
密级：公开
工学硕士学位论文
晶圆表面缺陷视觉检测研究
硕 士 研 究 生： 郭毅强
导
申
师： 胡泓教授
请
学
学
位： 工学硕士
科： 机械电子工程
所
在
单
位： 哈尔滨工业大学（深圳）
答
辩
日
期： 2018 年 12 月
授 予 学 位 单 位： 哈尔滨工业大学
万方数据
Classified Index: TP23621
U.D.C: 621
A dissertation submitted in partial fulfillment of
the requirements for the academic degree of
Master of Engineering
RESEARCH ON VISUAL INSPECTION OF WAFER
SURFACE DEFECTS
Candidate：
Guo Yiqiang
Supervisor：
Prof. Hu Hong
Academic Degree Applied for： Master of Engineering
Speciality：
Mechanical Engineering
Affiliation：
Harbin Institute of Technology, Shenzhen
Date of Defence：
December, 2018
Degree-Conferring-Institution： Harbin Institute of Technology
万方数据
哈尔滨工业大学工学硕士学位论文
摘
要
半导体的生产过程中容易出现各种缺陷，生产过程中需要及早发现缺陷，
及时排除缺陷原因、丢弃缺陷样本，防止缺陷晶粒继续加工，影响生产效率。
在晶圆缺陷检测的方法中，自动光学检测（AOI）是一种速度快、成本低的
视觉检测技术。因此，本文主要针对 AOI 系统展开了研究。
本文介绍了晶圆缺陷检测 AOI 系统的需求以及机械结构，并针对该机械
结构制定了检测的工艺方案、视觉方案以及通讯方案。本文使用灰度模板匹
配算法提取晶圆上的晶粒图像，对于模板匹配后的映射图像，通过阈值分割
和灰度极大值获得候选晶粒位置，并通过非极大值抑制的方法排除误匹配的
晶粒。针对污染缺陷，提出用梯度图像提取晶粒特征边界处的污染物，针对
相机拍摄的图像中同时存在清晰和模糊的晶粒图像，使用区域生长法正确连
接晶粒特征边界。针对划痕缺陷，通过 Zhang-Suen 细化算法提取划痕骨架，
根据骨架交叉点邻接骨架的方向和骨架拟合直线的斜率连接同一道划痕、分
割不同划痕。针对墨点缺陷，根据联通区域的面积以及最小外接矩形的长宽
比提取该缺陷。针对切割不良缺陷，使用联通区域最小外接矩形的包含关系
合并联通区域，根据合并后的联通区域块数获得切割不良分离的块数。针对
缺角缺陷，运用霍夫直线提取晶粒图像边缘的直线，并根据直线的长度判断
晶粒是否有缺角，再通过直线端点与图像边缘的距离判断缺陷的位置。针对
晶圆图像的纹理，通过 L0 梯度最小化算法，平滑晶圆的纹理，保留缺陷部
分和边缘，分析了晶圆纹理平滑的平滑效果。设计晶圆缺陷检测流程并开发
相应的软件。传统的机器视觉算法只能针对特定的应用场景、对特征复杂的
晶粒和缺陷检测困难，本文基于目前效果较好的深度学习模型 YOLO v3 对晶
粒上比较复杂的划痕、污染缺陷进行目标检测，提取缺陷的位置和尺寸信息。
修改网络的参数，使之更适合于晶圆缺陷检测。
实验通过实际的样本证明上述模板匹配算法和晶粒墨点、污染、缺角、
切割不良缺陷检测算法的可行性。证明 YOLO v3 模型可以检测晶粒上形状复
杂、数量多、尺寸相对较小的缺陷。针对设备通讯需求，本文设计基于
SECS/GEM 通讯协议的工作流程以及软件，并自定义晶圆缺陷数据格式。
关键词：晶圆；缺陷检测；机器视觉；深度学习；SECS/GEM
-I-
万方数据
哈尔滨工业大学工学硕士学位论文
Abstract
Various defects are prone to occur in the production process of
semiconductors. It is necessary to find defects early in the production process,
find out the cause of defects, and discard the defective samples. It prevents the
defective dies from continuing to be processed and affects production efficiency.
In the method of wafer defect detection, automatic optical inspection (AOI) is a
fast and low-cost visual inspection technology. Therefore, this paper focuses on
the AOI system.
This paper introduces the requirements and mechanical structure of the
wafer defect detection AOI system, and develops the inspection process plan and
communication scheme for the mechanical structure. In this paper, the gray-scale
template matching algorithm is used to extract the die image on the wafer. For
the mapped image after template matching, the candidate die position is obtained
by threshold segmentation and gray maximum value, and the method of
non-maximum value suppression is adopted. For the contamination defect, it is
proposed to extract the contaminants at the edge feature with gradient images. If
clear and blurred die images in the same camera image, the edge feature is
correctly connected by the region growth method. For the scratch defect, the
scratch skeleton is extracted by the Zhang-Suen thinning algorithm. According to
the direction of the skeleton and the slope of the skeleton fitting straight line, the
same scratch is connected and the different scratches are divided. For the ink dot
defect, the defect is extracted according to the area of the connected component
and the aspect ratio of the minimum circumscribed rectangle. For the poor
cutting defect, the inclusive region of the minimum circumscribed rectangle of
the connected area is used to merge the connected components, and the number
of blocks with poor cutting separation is obtained according to the number of
merged connected component blocks. For the corner breakage defect, the line of
the edge of the die image is extracted by the Hough line, and the defect is
determined according to the length of the line, and the position of the defect is
determined by the distance between the end point of the line and the edge of the
image. For the texture of the wafer image, the L0 gradient minimization
algorithm smoothes the texture and preserves the defective parts and edges, and
analyzes the smoothing effect. This paper designs the wafer defect inspection
process and develops the appropriate software. The traditional machine vision
algorithm detection can only be used for specific application scenarios, and it is
difficult to detect complex crystal dies and defects. Based on the current good
- II -
万方数据
哈尔滨工业大学工学硕士学位论文
effect deep learning model YOLO v3, this paper detects the more complex
scratches and contaminant defects on the die and the location and size
information of the defect is extracted. This paper modifys the parameters of the
network to make it more suitable for wafer defect detection.
The experiment proves the feasibility of the above template matching
algorithm and the algorithm of grain dot, contamination, cornering and poor
defect detection by actual samples. Through the actual defect samples, it is
proved that the YOLO v3 model can detect defects with complicated shapes,
large numbers, and relatively small sizes on the dies. For the device
communication needs, this paper designs the workflow and software based on the
SECS/GEM communication protocol, and customizes the wafer defect data
format.
Keywords: wafer, defect inspection, machine vision, deep learning, SECS/GEM
- III -
万方数据
哈尔滨工业大学工学硕士学位论文
目
录
摘 要 ................................................................................................................. I
ABSTRACT ....................................................................................................... II
第 1 章 绪 论 .................................................................................................. 1
1.1 课题背景及研究意义 .......................................................................... 1
1.2 国内外研究现状 .................................................................................. 2
1.2.1 晶圆缺陷检测的发展状况 ........................................................ 2
1.2.2 晶圆机器视觉检测的发展状况 ................................................ 3
1.2.3 基于深度学习的目标检测发展现状 ......................................... 4
1.2.4 SECS/GEM 发展现状 ................................................................ 6
1.3 本文主要研究内容 .............................................................................. 7
第 2 章 晶圆表面缺陷检测系统方案设计 ........................................................ 8
2.1 引言 ..................................................................................................... 8
2.2 晶圆表面缺陷检测系统的工艺方案 ................................................... 8
2.2.1 机械部分功能需求 ................................................................... 8
2.2.2 机械结构与运动轴的功能分析 ................................................ 9
2.2.3 工艺流程 ................................................................................. 10
2.3 晶圆表面缺陷检测系统的视觉方案 ..................................................11
2.4 晶圆表面缺陷检测系统的数据通信方案 .......................................... 12
2.4.1 HSMS 协议 .............................................................................. 12
2.4.2 SECS-II 协议 ........................................................................... 14
2.5 本章小结 ........................................................................................... 17
第 3 章 晶圆缺陷检测的传统机器视觉算法 .................................................. 18
3.1 引言 ................................................................................................... 18
3.2 模板匹配获取晶圆上晶粒的图片 ..................................................... 18
3.2.1 灰度模板匹配算子 ................................................................. 18
3.2.2 获取晶粒位置 ......................................................................... 19
3.3 晶粒缺陷检测算法 ............................................................................ 21
3.3.1 晶粒墨点检测 ......................................................................... 22
3.3.2 晶粒缺角检测 ......................................................................... 22
3.3.3 晶粒切割不良检测 ................................................................. 24
3.3.4 晶粒污染检测 ......................................................................... 26
- IV -
万方数据
哈尔滨工业大学工学硕士学位论文
3.3.5 晶粒划痕分割 ......................................................................... 29
3.3.6 平滑晶粒纹理 ......................................................................... 33
3.4 晶圆图像处理系统搭建 .................................................................... 34
3.4.1 图像处理流程 ......................................................................... 34
3.4.2 软件系统搭建 ......................................................................... 35
3.5 本章小结 ........................................................................................... 35
第 4 章 晶圆缺陷检测的深度学习目标检测 .................................................. 37
4.1 引言 ................................................................................................... 37
4.2 基于 YOLO v3 的深度学习模型设计 ............................................... 37
4.2.1 YOLO v3 的网络结构 .............................................................. 37
4.2.2 YOLO v3 网络输出目标获取 .................................................. 38
4.2.3 YOLO v3 损失函数 .................................................................. 39
4.2.4 锚框的聚类 ............................................................................. 40
4.3 模型的训练 ........................................................................................ 40
4.4 本章小结 ........................................................................................... 43
第 5 章 晶圆表面缺陷检测系统实验与分析 .................................................. 44
5.1 引言 ................................................................................................... 44
5.2 模板匹配实验分析 ............................................................................ 44
5.3 传统视觉缺陷检测实验分析 ............................................................. 45
5.4 深度学习缺陷检测实验分析 ............................................................. 47
5.5 SECS/GEM 软件设计及实验 ............................................................. 49
5.5.1 程序流程 ................................................................................. 49
5.5.2 自定义缺陷 SECS-II 消息 ...................................................... 51
5.5.3 软件的设计 ............................................................................. 53
5.5.4 缺陷信息通信测试 ................................................................. 56
5.6 本章小结 ........................................................................................... 56
结
论 .............................................................................................................. 57
参考文献 .......................................................................................................... 59
哈尔滨工业大学学位论文原创性声明和使用权限 ......................................... 64
致
谢 .............................................................................................................. 65
-V-
万方数据
哈尔滨工业大学工学硕士学位论文
第 1章 绪
论
1.1 课题背景及研究意义
本课题来源于深圳某半导体企业“全自动芯粒镜检机”项目，课题题目
“晶圆表面缺陷视觉检测研究”。本课题对 AOI 系统的视觉检测部分进行研
究。针对当前设备通讯使用自定义通讯协议，本课题开发半导体生产设备通
讯 标 准 SECS/GEM （ Semiconductor Equipment Communication Standard/
Generic Equipment Model） [1-4] 软件。
现今，半导体元器件在各个方面为我们服务，已经成为我们生活中不可
或缺的一部分。中国与美国等一些发达国家在半导体方向还有很大差距，但
是这个差距正在缩小 [5] 。目前中国正在加大对半导体技术的投入，棱镜门事
件，让中国对半导体行业更加重视；美国制裁中兴事件反映了中国在半导体
行业上的薄弱，也唤醒了企业对于自主研发芯片的重视。文献[6]设定到 21
世纪 20 年代，集成电路方面与国外的差距缩小，在某些重要方向跑在国际前
沿，半导体制程工艺差距缩小 [6] 。
半导体工艺比较复杂，要保证半导体产品生产的高效，需要有特定的检
测环节 [7] 。按照摩尔定律，集成电路的关键尺寸变得越来越小。虽然现在速
度有所减慢，但这个定律还是生效的，目前某些领域的芯片已经使用 7 nm
工艺，比如世界首款商用 7 nm 制程工艺的 SoC——华为海思麒麟 980 芯片。
这也就导致了缺陷的尺寸也相应有所缩小，加大了检测的难度。
中国高端的生产、检测设备非常依赖西方发达国家。这些高端设备的厂
家主要有应用材料公司、东京电子、阿斯麦等。为了缩短与西方发达国家的
差距，需要攻克半导体设备的关键技术，晶圆缺陷检测的研究也就有着重要
的现实意义。
全世界有各种各样的半导体设备厂家，不同的产家对通讯的方式、格式、
内容有着不同的理解，导致设备的通讯协议有着公司独特的风格。这将导致
不同产家生产的设备通讯困难，即使生产产家经过大量修改后完成设备之间
通讯，后续的产品更新换代还需再重新做这种工作。这将导致人力、物力上
的损耗，延长交付日期。国际半导体产业协会（SEMI）制定了 SECS/GEM
通 讯 协 议 。 从 上 世 纪 90 年 代 开 始 ， 半 导 体 生 产 设 备 制 造 厂 商 开 始 对
SECS/GEM 通讯协议进行设备上的兼容。目前，SECS/GEM 通讯协议在半导
体行业中得到广泛应用，已经有上千家企业生产的设备支持该协议。
-1
万方数据
哈尔滨工业大学工学硕士学位论文
1.2 国内外研究现状
1.2.1 晶圆缺陷检测的发展状况
半导体缺陷检测比较复杂，于是出现了各种各样的缺陷检测方法。它们
有着各自的应用场景，有着特定的处理方法，并具有一定的可行性。
图 1-2 探针台探针测试 [10]
图 1-1 探针台 [9]
图 1-3 多点激光锁相系统实验原理图 [25]
对于已经封装的芯片，有时候需要使用有损检测的方法 [8] 。探针台通过
电气特性可以判断晶粒是否有缺陷，探针台如图 1-1 所示，探针台探针测试
如图 1-2 所示。在显微镜下可以观察到晶圆微小的外观缺陷。扫描电子显微
镜（SEM）可以将观察物放大数千倍，弥补光学显微镜放大倍数的不足。能
谱仪（EDS）通过元素能谱分析来检查被测物体所含的元素 [11] 。超声波扫描
（C-SAM）是利用超声波获得物体内部缺陷的尺寸、深度，但是检测速度慢
[12]
。X 射线的穿透性较强，在 X 光照射的背面成像，可以观察芯片内部的缺
陷 [13] 。Monastyrskyi A 等提出了一个接触的超声锁相红外检测技术，具有高
超声激励效率，内部缺陷检测穿透深度较长，但是由于它是接触的，会对芯
片产生应力以及损坏 [14] 。扫描声学显微镜（SAM）的穿透深度相对较深，由
-2
万方数据
哈尔滨工业大学工学硕士学位论文
于它的检测时间长，不适合实时检测。扫描声学显微镜扫描 12.8 mm 8.5 mm
的芯片需要的时间大于 60 s，还要把晶圆浸在水中或者在晶圆上滴液滴，这
可能会损坏芯片。光散射技术 [15] 和发光技术 [16] 非接触、操作简单以及检测时
间短，但是表面污染和划痕的区分以及光线条件的改变都会导致误判。Sadler
D J 等用非接触涡流传感器检测微缺陷，但是通过芯片的强电流可能会影响
芯片的性能，而且涡 流只适用于导电材料 [17] 。太赫兹成像技术 [18][19] 有高的
时间和空间分辨率，因此它可以检测小的缺陷。但是它的穿透深度比较浅，
特别是不能穿透金属层。An Y K 等提出线激光锁相法（LLT），它利用单点
激光源产生线红外波，用一个红外相机检测缺陷 [20] 。Yang J 等提出多点激光
锁相法（MLLT），可以用多点脉冲激光束在晶圆表面的多个位置产生红外热
波 ， 图像用 高速 红外 相 机 采 集 [21] 。多点激 光锁相法的 检测实验 原理图如图
1-3 所示。多点激光锁相法相对于线激光锁相法主要的特点是使用多点脉冲
激光束，并对该红外图像做相应的处理，减少检测时间。但两种方法检测的
缺陷只有裂缝，其他的缺陷类型并没有检测。非视觉残留物（NVR）缺陷，
基于光学的技术无法检测到亚单层浓度的非视觉残留物缺陷。Bryant R 等使
用接触点位差成像（CPDI）检测全晶圆表面上的痕量金属、有机污染物、湿
洗残留物、表面处理异常等非视觉残留物缺陷 [22] 。电子科技大学严来军博士
用激光诱导红外辐射检测法检测薄膜太阳能电池缺陷 [23] 。Zhou R 和 Popescu
G 等人使用衍射相位显微镜 [24] 和光学干涉显微镜 [25] 检测芯片。
1.2.2 晶圆机器视觉检测的发展状况
自动光学检测（AOI）是一种速度快、成本低的视觉检测技术，将其与
晶圆检测结合，对晶圆的生产有很大的帮助。因此，AOI 设备广泛应用于半
导体表面缺陷检测。国外比较有名的 AOI 设备生产产家有康代、欧姆龙等。
AOI 设备比较重要的是视觉缺陷检测部分，视觉方向主要提高的是检测
的速度和准确率。和检测方法类似，国内外很多学者提出各种视觉算法。Tsai
Z D 等人使用多带通滤波器检查二维周期图像中的缺陷 [26] 。Liu H 等使用谱
减法进行图像处理并检测集成电路图像中的缺陷。实验证明该方法可以从具
有缺陷的 3 张图像中提取标准图像，并且通过将它们与标准图像进行比较，
可以快速检测缺陷 [27] 。Kong H 等提出一种基于模板匹配的检测平面的方法，
自动选择给定测试的模板图像，基于近似最大团方法的模板和测试图像之间
的稳健几何对准，以及用于对准图像中的缺陷检测的照明不变图像比较方法
[28]
。Tien C L 等在这项研究中，采用缺陷模式特征来创建模糊规则。特征参
数是最小外接矩形（MBR）的长轴和短轴之间的比率和平均灰度级，用于判
-3
万方数据
哈尔滨工业大学工学硕士学位论文
断模糊缺陷识别的类型是划痕，瘀伤还是污染 [29] 。Tsai D M 等提出了一种基
于光流技术的表面缺陷检测的相异性测量方法，旨在研究发光二极管（LED）
晶圆模具检测 [30] 。
图 1-4 晶粒检测区域划分
归一化交叉相关（NCC）是用来描述两个目标的相关程度的，也就是说
可以用来刻画目标间的相似性。一般 NCC 也会被用来进行图像匹配，即在
一个图像中搜索与一小块已知区域的 NCC 最高的区域作为对应匹配，然后
对准整幅图像。在实际应用中，这种方法有许多限制，比如检测时间长、容
易误检、对图像移动敏感。Wang C C 等提出了部分信息相关系数（PICC）
方法。PICC 使用重要点技术来计算相关系数。结果表明，PICC 可以有效减
少缺陷检测中的误检 [31] 。
国内在这个领域也出现了很多成果。刘红侠提出了快速图像匹配相关系
数算法 [32] 。电子科技大学马磊把超分辨率用在晶圆缺陷检测上。郭庆文使用
机器视觉的方法检测晶片的缺角、裂纹、划痕和污染缺陷。用统计边长像素
的方法检测边长，再根据边长判断晶片缺陷；针对晶片上的划痕，通过霍夫
变换求直线来判断划痕，但是这种方法只适用于划痕为直线的情况；通过阈
值分割的方法分割晶片上的污染物，这种适合于污染在光滑区域的条件下 [33] 。
郭强生等将芯片划分为 9 个检测区域，9 个区域如图 1-4 所示。区域 1、3、
7、9 负责检测缺角，区域 2、4、6、8 负责检测崩边，区域 5 负责检测墨点 [34] 。
这种方法检测速度比较快。
1.2.3 基于深度学习的目标检测发展现状
近几年对深度学习关注是由于它们在几项任务中表现优于先前的最先进
技术 [35] 。随着深度学习方法（尤其是基于 CNN 的方法）在图像分类任务上
达到了顶级的性能，研究者开始将其转移到目标检测问题上 [36] 。目标检测与
图像分类任务不同但密切相关：图像分类利用整个图像作为输入，估计图像
中对象的类标签，而目标检测除了输出给定类存在的信息外，还需要估计目
标的位置。
最开始，基于深度学习的目标检测基本都是 Two-Stage 目标检测算法，
-4
万方数据
哈尔滨工业大学工学硕士学位论文
第一步生成许多候选框，第二步是对这些候选框进行分类。最有代表性的是
Girshick R 等提出的 R-CNN，R-CNN 生成候选区域的方法是传统的选择搜索，
主要思路是通过图像中的纹理、边缘、颜色等信息对图像进行自底向上的分
割，然后对分割区域进行不同尺度的合并，每个生成的区域即一个候选区域。
这种方法基于传统特征，速度较慢 [37] 。Faster R-CNN 在 R-CNN 的基础上使
用区域候选网络（RPN）网络，大大提高了性能 [38] 。FPN 算法在 Faster R-CNN
基础上使用不同分辨率的图像，结合不同层的特征 [39] 。
表 1-1 YOLO 模型和其他模型对比 [42]
深度学习方法
SSD321
DSSD321
R-FCN
SSD513
DSSD513
FPN FRCN
mAP-50 时间（ms） 深度学习方法
45.4
61
RetinaNet-50-500
46.1
85
RetinaNet-101-500
51.9
125
RetinaNet-101-800
50.4
156
YOLOv3-320
53.3
172
YOLOv3-416
59.1
73
YOLOv3-608
mAP-50 时间（ms）
50.9
90
53.1
198
57.5
22
51.5
29
55.3
51
57.9
61
另一种是 One-Stage 目标检测算法，比较有代表的有 YOLO [43-45] 、SSD[43]
等。目标检测模型 YOLO v1[40] 自从 2016 年被 Redmon J 等提出之后，被广泛
应用于图像的目标检测。其只需要对完整的图片“看一遍”，就可以获得边框
的尺寸以及置信度和类别概率，使其检测速度更快，视频处理速度达到了惊
人的 45 fps，其轻量版的处理速度更是达到了 155 fps。两者的 mAP 分别是
52.7 和 63.4。它的网络结构借鉴了 GoogLeNet 分类网络结构，但是未使用
Inception 模块，而是使用 1 1 和 3 3 卷积层替换。由于其输出经过全连接层，
导致其输入图像的分辨率固定，输入网络之前需要把所有图像的分辨率缩放
到所需要的分辨率；输出的每个格子只能预测一个物体，如果一个格子包含
多个物体只能检测出其中的一个。2017 年，Redmon J 等发表了 YOLO9000[41] ，
在识别的种类、精度、速度和定位准确率都有很大的提升。它使用新网络结
构 darknet-19，通过卷积层替换全连接层，使输入的分辨率可以调整；取消
了 dropout，在全部卷积层后面使用批标准化（Batch Normalization）；使用
K-means 在训练集上进行聚类产生合适的锚，根据锚的尺寸对目标的尺寸进
行预测；简单地把浅层特征图连接到深层特征图，使模型有了细粒度特征；
YOLO9000 每隔几次迭代后就会微调网络的输入尺寸。但是其对小目标的检
测效果依旧不好。2018 年，作者又发表了 YOLO v3[42] ，对原来的模型进行
改进，其最主要的优点是克服了前两个版本对小目标检测效果差。其使用多
尺度预测；用逻辑分类器替换归一化指数函数（Softmax），可以多目标分类
且速度变快；采用了新的网络结构 darknet-53，该网络借鉴残差网络，检测
效果变好，但是其检测时间只是稍慢于 YOLO 9000。YOLO v3 和其他模型的
-5
万方数据
哈尔滨工业大学工学硕士学位论文
对比如表 1-1 所示。
SSD 主要依据 VGG16 的网络框架进行修改，去除全连接层，并加入几
个卷积层。与 YOLO 的不同的是，SSD 在之前选取的 5 个特征图上进行预测，
相对 YOLO v1 小目标检测和定位效果较好，但是检测速度慢 [43] 。
对于 YOLO 的应用，Shinde S 等提出了一种基于 YOLO 实时检测、定位
和识别感兴趣动作的方法 [44] 。Wu Z 等利用 YOLO 模型对高分辨率遥感图像
进行快速目标检测 [45] 。Al-Masni M A 等提出了一种基于 YOLO 的计算机辅
助诊断系统，用于处理乳腺癌肿块的检测和分类 [46] 。Simon M 扩展了 YOLO
v2 网络，使其用于 3D 目标检测 [47] 。
在深度学习晶圆缺陷检测方面，Veenhuizen M V 等通过深度学习对焊料
凸点空隙率进行检测 [48] ；Nakazawa T 等提出了一种利用卷积神经网络(CNNs)
进行晶圆图缺陷模式分类和图像检索的方法 [49] 。
一般而言，Two-Stage 目标检测算法在准确度上有优势，而 One-Stage 在
速度上有优势。不过随着目标检测研究的发展，两类算法都在不足之处做了
改进，均能在准确度以及速度上取得较好的结果。
1.2.4 SECS/GEM 发展现状
SECS-I 标准在 1980 年定制，此时 TCP/IP 才推出不久，RS-232 串口协
议比较成熟，于是基于 RS-232 串口协议进行通信。过了两年，国际半导体
产业协会制定了 SECS-II，在 SECS-I 的基础上定义消息格式以及一些常用的
消息内容。再过十年，协会在 SECS-I 和 SECS-II 协议的基础上定义了 GEM，
对 SECS-II 进行精简。后面由于 TCP/IP 的发展，被世界广泛接受，它具有速
度快、通讯距离长等优点，更能满足设备的需求。所以在 1994 年，协会制定
了基于 TCP/IP 的 HSMS 协议。由于 TCP/IP 的优势，HSMS 正在逐渐替代
SECS-I。
针对该协议，国际上很多半导体企业生产的设备已经支持该协议，从现
在看来，公认的半导体通讯标准基本上都是国际半导体产业协会结合实际应
用情况设计的，相信未来几年，支持产家的数量还会增长。国外支持该协议
的产品很多，比如日东电工的全自动保护胶带粘贴机、晶圆镀膜机等。中国
相对于西方发达国家科学技术发展时间比较短，只有少部分的企业应用标准
通讯协议，大量的自定义通讯协议也导致生产产家并没有重视标准通讯协议
的研究。但是各个厂商逐渐意识到标准通讯协议的重要性，考虑对标准通讯
协议的兼容。在国家的支持下，一部分的半导体公司实力得到全世界的认可，
但总体水平还是和美国等国家有着很大的差距，基于 SECS/GEM 通信协议的
-6
万方数据
哈尔滨工业大学工学硕士学位论文
生产自动化还有很长的路要走 [50] 。国内支持 SECS/GEM 通信协议的设备有
华林科纳的立体甩干机、上海隽思实验仪器有限公司的无尘烤箱等。
1.3 本文主要研究内容
本课题主要开发出一套全自动芯粒镜检机器视觉系统，实现晶圆缺陷的
提取，并标记。以便于晶圆生产过程中及早发现晶圆上的表面缺陷，减少生
产过程中的损失。通过“全自动芯粒镜检机”拍摄晶圆的图像，并通过灰度
模板匹配获得晶圆中的每一个晶粒图像。对每个晶粒图像进行处理，提取缺
陷信息。开发基于 SECS/GEM 通讯协议的软件，方便实体之间进行消息通讯、
设备控制，使用通讯协议发送晶圆的缺陷信息。本课题拟开展以下研究内容：
（1）针对 AOI 系统的功能需求，制定工艺方案和通讯方案。分析现有
的机械结构，设计了相应的工艺流程，然后分析了设备通讯的需求，制定通
讯方案。
（2）针对当前视觉算法速度慢、检测效果差的问题，进行机器视觉算法
设计。对每个晶粒的图像进行缺陷检测比对一个视场的晶圆图像进行检测更
具有实际意义，于是需要使用模板匹配算法提取晶粒图像。对于模板匹配算
法的选择，拟采用基于灰度的模板匹配算法。由于模板匹配属于多目标模板
匹配，需要研究如何获得多目标的位置，本文拟采用固定阈值、极大值和非
极大值抑制结合的方法进行目标提取。对于晶圆常见的污染缺陷、墨点缺陷、
切割不良缺陷和缺角缺陷，采用机器视觉算法进行缺陷提取，并验证其可行
性。根据晶粒的特征，拟采用晶粒梯度图像对污染物进行提取。对于划痕缺
陷，需要对划痕进行分割。根据划痕的特点，拟采用划痕的骨架对其进行分
割。针对墨点缺陷，拟根据联通区域的面积以及最小外接矩形的长宽比提取
墨点缺陷。针对切割不良缺陷，拟根据切割后分离的块数来检测切割不良缺
陷。针对缺角缺陷，拟根据晶粒的边长检测缺角缺陷。某些晶圆的某些区域
有纹理，不利于视觉提取缺陷，本文拟采用 L0 梯度最小化算法进行纹理平
滑。
（3）针对传统视觉算法对复杂的缺陷或形状复杂的晶粒检测效果较差以
及算法通用性差，本文使用深度学习目标检测进行缺陷检测。由于 YOLO v3
模型更符合晶圆缺陷检测，本文拟采用 YOLO v3 模型对缺陷的样本进行训练，
修改网络的参数，并进行检测，分析检测效果。
（4）根据半导体检测设备通讯需求，进行 SECS/GEM 通讯协议软件设
计。设计了 SECS/GEM 通讯协议软件的总体框架，设计通讯流程，设计了缺
陷的数据格式，编写软件以及对应的界面来实现通讯。
-7
万方数据
哈尔滨工业大学工学硕士学位论文
第 2章 晶圆表面缺陷检测系统方案设计
2.1 引言
晶圆表面缺陷检测需要合理的工艺流程，系统工艺方案主要根据缺陷检
测的需求进行设计。本章首先分析晶圆表面缺陷检测系统的工艺需求，接着
介绍现有的机械结构并分析，最后确定出系统所需要的工艺流程。检测的缺
陷信息，需要发送给主机进行数据的采集与分析，本章进一步设计了通讯方
案。
图 2-1 AOI 机械结构简图
2.2 晶圆表面缺陷检测系统的工艺方案
2.2.1 机械部分功能需求
机械部分需要有如下的需求：X-Y-Z 轴需求、承片台旋转需求、机械手
X 轴方向运动需求、料盒 Z 轴方向运动需求。晶圆片需要移动到相机的视场
下进行扫描，扫描晶圆片上所有的晶粒需要晶圆片在水平面上沿着 X-Y 轴运
动，逐个视场扫描整个晶圆片。相机需要有不同的工作高度，所以还需要 Z
轴方向的运动。晶圆未进行划片，晶圆上的晶粒沿着同一方向等距排列；划
片之后，晶粒之间的间距也接近等距。如果需要扫描晶圆上的每个晶粒，需
要相机与晶圆沿着晶粒的排列方向运动，方便扫描以及后续的图像拼接。而
相对运动通常是由 X-Y 轴带动晶圆片或者是相机在水平面上运动，如果扫描
晶圆片是单独的 X 轴运动或者单独的 Y 轴运动而不是两个轴协同作插补运动，
-8
万方数据
哈尔滨工业大学工学硕士学位论文
控制方便而且精度也相对比较高。在实际的上料过程中，不管是人工放置晶
圆片还是由机械手自动上料，晶圆片晶粒的排列方向通常不与 X-Y 轴之一平
行。于是就有承片台旋转的需求，将晶圆片旋转至晶粒的排列方向与 X-Y 轴
之一平行；机械手自动上下料，需要一个 X 轴方向的运动，使机械手在承片
台和料盒之间运动，运送晶圆片。一个料盒通常在不同的高度上有不同的晶
圆片，这就需要料盒有一个 Z 方向的运动。
综上所述，AOI 系统的机械部分需要控制承片台运动的 X-Y 轴、控制相
机高度的 Z 轴、控制机械手上料和下料的 X1 轴、控制料盒上升下降的 Z1
轴以及控制承片台旋转的 R 轴。
图 2-2 整体外形
表 2-1 各个机构功能
主要机械结构
功能
承片台水平运动机构
相机垂直运动机构
供料机构
取料机构
承片台旋转机构
控制承片台前后左右方向运动
控制相机上下运动
控制料盒做上下运动，用于机械手抓取不同高度的晶圆
片
控制机械手左右运动，在料盒和工作台之间往返上料和
下料
控制承片台旋转，使晶圆片上的晶粒与工作台水平
运动机构的 X 轴平行或垂直，方便相机扫描晶圆
2.2.2 机械结构与运动轴的功能分析
晶圆表面缺陷检测系统的机械结构主要由工作台水平运动机构、相机垂
直运动机构、供料机构、取料机构等组成。其机械结构简图如图 2-1，整体
-9
万方数据
哈尔滨工业大学工学硕士学位论文
外形实物图如图 2-2 所示，各机构的功能如表 2-1 所示。
晶圆表面缺陷检测系统涉及六根轴的运动，各轴的功能如表 2-2 所示。
其需要完成的运动包括各轴的回零复位，匀速、加速闭环运动，X-Y 轴的插
补运动，R 轴匀速旋转运动，Z、Z1 轴的匀速上下运动等。除此之外通过控
制气缸的进气和断气控制夹紧机构的夹紧，这是通过板卡上的 I/O 控制。所
有直线运动的控制精度都是 0.001 mm，承片台旋转的控制精度为 0.018°。
表 2-2 各轴功能
轴名称
X轴
Y轴
X1 轴
轴功能
工作台的前后运动
工作台的左右运动
机械手左右运动
轴名称
Z轴
Z1 轴
R轴
轴功能
相机的上下运动
料盒的上下运动
工作台的旋转运动
图 2-3 工作流程图
2.2.3 工艺流程
人工检测晶圆表面缺陷，需要把晶圆片放在显微镜下检测，检测时间比
较长、检测受主观因素的影响比较大。目前，AOI 测试设备扫描一张 1 万个
晶粒的晶圆片可能就需要几分钟的时间，如果是人工检测晶圆表面缺陷，需
要的时间远不止几分钟。自动化检测则能够克服上述缺点。目前现有的 AOI
测试设备，有自动上下片和手动上下片两种。由于本文使用自动上下片的设
备采集图片，这里介绍自动上下片 AOI 测试设备的工艺流程。
工作流程图如图 2-3 所示：料盒的不同高度放置晶圆片，料盒需要上升
或者下降到机械手可以夹取待检测晶圆片位置；机械手移动到料盒处，机械
手上夹紧机构的气缸进气，夹紧晶圆片；夹紧晶圆片后机械手移动到承片台，
气缸放气，夹紧机构退出，晶圆片放置到承片台上；承片台上真空打开，晶
圆片吸附在承片台上；承片台通过 X-Y 轴移动将承片台中心移动到相机视野
中心，然后相机轴（Z 轴）移动相机到工作高度；通过机器视觉检测晶圆片
是否放正，也就是晶圆片上的晶粒是否与承片台 X 轴平行或垂直。如果晶圆
片没放正，通过图像处理计算承片台需要旋转的角度，通过 R 轴旋转承片台。
分别扫描晶圆的不同位置，不断调整角度，直至摆正晶圆；承片台通过 X-Y
- 10
万方数据
哈尔滨工业大学工学硕士学位论文
轴做 S 形运动，使相机逐个视场扫描晶圆片上的所有晶粒，并进行缺陷检测；
扫描结束后相机回到安全高度，承片台由 X-Y 轴移动到机械手可以夹取的位
置，关闭承片台上的真空，机械手取出晶圆片放回料盒；重复步骤(1)-(8)检
测下一个晶圆片。上述过程是一个循环，直至料盒上的晶圆片全部被检测完，
检测结束。
2.3 晶圆表面缺陷检测系统的视觉方案
由于晶圆缺陷检测是针对晶圆上的每个晶粒，需要使用模板匹配的方法
从晶圆的图片匹配出每个晶粒的位置，并获得晶粒的图片。这样在去除晶粒
之间街区干扰的同时也方便视觉算法的处理。模板匹配虽然需要消耗一定的
时间，但是匹配的准确率比较高、鲁棒性比较好。模板匹配有基于灰度的模
板匹配和基于形状的模板匹配，基于形状的模板匹配如果边缘不完整，可能
会匹配出错。这里主要研究基于灰度的模板匹配。
对于晶粒缺陷检测，主要有传统的机器视觉算法和深度学习算法。传统
的机器视觉算法，对于简单的缺陷检测速度快、准确率高，是一种常用的方
法。晶圆缺陷检测虽然可以用传统的机器视觉算法进行缺陷检测，但是它有
局限性，比如对于复杂的缺陷或形状复杂的晶粒识别效果不好、特定的缺陷
需要设计特定的算法。但是它对于设计人员的素质要求较高。当前传统的机
器视觉算法遇到了瓶颈，很难再有较大的突破。深度学习相对传统机器视觉
算法比较简单，对于不同的缺陷只要重新进行标注再训练后就可以进行缺陷
检测，不仅如此深度学习对于复杂的缺陷检测效果比传统的机器视觉算法好。
于是本文对简单的缺陷用传统的机器视觉算法进行处理，对于复杂的缺陷使
用深度学习进行处理。
对于晶圆缺陷检测有两点要求：（1）由于缺陷检测的晶圆图像数量多，
检测需要的时间比较长，对检测速度要求比较高；（2）缺陷尺寸比较小，需
要小目标检测效果好。
对于深度学习缺陷检测，本文使用基于深度学习的目标检测。YOLO 的
优点主要有两个：预测结果是直接预测的而不是分成两步预测，检测速度快，
可以用于实时检测；相对其他实时检测模型 mAP 比较高。YOLO v1 和 YOLO
v2 的检测精度不是很好，特别是小目标检测，比如 YOLO 检测的效果不如
SSD 好。后面 YOLO v3 的提出，小目标检测效果提高，其检测效果已经和
SSD 比较接近，但是其速度比 SSD 快。
于是选取 YOLO v3 作为目标检测的模型，提取目标缺陷的预测方框以及
对应的置信度。
- 11
万方数据
哈尔滨工业大学工学硕士学位论文
2.4 晶圆表面缺陷检测系统的数据通信方案
当前很多半导体制造厂商制造的半导体生产、检测设备不具有通讯功能
或者是使用自定义的通讯协议。目前的“全自动芯粒镜检机”使用的是自定
义通讯协议，与其他产家生产的半导体设备通讯比较困难，不方便于自动化
控制、通讯；对于检测到的缺陷，不只是需要本地的检测设备获得缺陷数据，
还需要把缺陷等数据传输到主机或者是其他设备上，于是需要一套标准的通
讯协议。因此有必要使用一套市场认可、支持厂家多的标准通信协议。目前，
SEMI 协会制定的 SECS/GEM 通讯协议满足实际的需求。
图 2-4 SECS/GEM 协议结构
SECS/GEM 协议主要由 4 个协议组成，分别为 SECS-I、SECS-II、GEM
和 HSMS。4 个协议主要分为 3 层，底层是 SECS-I 和 HSMS，定义了报文格
式、超时处理、控制流程、设备状态；中间层是 SECS-II，定义了实体之间
所传送的数据消息内容和格式；最上层是 GEM，主要是对 SECS-II 进行简化，
规定了活动类型。SECS/GEM 由四个协议组成，SECS/GEM 结构如图 2-4 所
示，本文实现 HSMS 和 SECS-II 两部分，完成基本的通讯功能。
SECS/GEM 基本的功能包含设备的通信状态模型、控制状态模型、设备
的生产过程模型、事件报告。由于本课题的实际需求中，晶圆图数据和缺陷
信息的发送是很重要的一部分，晶圆图数据发送格式已经定义，但是针对特
殊缺陷的缺陷信息却没有定义，因此有必要设计缺陷信息的数据格式，并设
计整体的软件。对于每个晶圆片，需要发送晶圆片上的每个晶粒的缺陷数据
到服务器上，于是本课题参考晶圆图的发送方式发送晶圆缺陷数据。这就需
要在每块晶圆片检测结束后，再把缺陷数据发送到服务器上。
2.4.1 HSMS 协议
HSMS 是 SECS/GEM 的底层，这套协议包含 7 种功能：定义主机与设备
- 12
万方数据
哈尔滨工业大学工学硕士学位论文
或者是设备之间的通信；TCP/IP 传输数据；处理接受到的错误消息；控制通
讯的中断；判断连接的完整性；丢弃不再使用的标准。HSMS 有 HSMS-GS
和 HSMS-SS 两种，本文所述的 HSMS 默认为 HSMS-SS。
2.4.1.1 HSMS 连接状态
HSMS 的 连 接 状 态 有 未 连 接 状 态 （ NOT CONNECTED ） 和 连 接 状 态
（CONNECTED）， 连 接 状 态 又 分为选 择 状态（SELECTED） 和未选择状态
（NOT SELECTED）。
未连接状态是主机或设备准备进行 TCP/IP 连接，但是还未连接或者过去
建立的连接已经终止；主机或设备在未连接状态下建立 TCP/IP 连接或者是
选择状态下连接被结束，设备就进入连接状态中的未选择状态，这种状态下，
只能接收控制消息不能接收数据消息；主机或设备在未选择状态下收到连接
的请求或者是发送了连接请求后在规定的时间内收到选择的回复消息，那么
设备或者是主机就进入选择状态，这种情况下，主机和设备之间可以正常地
进行数据通讯。
HSMS 通信有如下几个流程：
（1）建立 TCP/IP 的连接。连接遵循 TCP/IP 规则。
（2）进入 HSMS 连接状态中的未选择状态。步骤（1）完成后，主机或
设备会进入未选择状态，就可以进行控制消息的通讯，此时通讯双方之间可
以 正 常 发 送 和 接 收 的 控 制 消 息 有 Linktest.rsp 、 Linktest.rsq 、 Select.req 和
Select.rsp。
（3）进入 HSMS 连接状态中的选择状态。实体在未选择状态下且可以
进入选择状态，TCP/IP 主动模式的实体发送 Select.req 后接收到选择状态标
志位为 0 的 Select.rep 或者是工作在 TCP/IP 被动模式且可以进入选择状态的
实体接收到 Select.req，HSMS 进入选择状态。在这个状态下，通讯双方可以
正常发送和接收数据消息以及除了 Select.req 和 Select.rsp 外的控制消息。
（4）数据消息通讯。进入选择状态后，就可以进行 SECS-II 数据消息的
发送和接收，直至通讯双方之一取消选择状态进入其他状态。对于不恰当的
控制消息，需要发送 Reject.req。
（5）测试连接。在进入连接状态后，测试 TCP/IP 和 HSMS 通信的完整
性 ， 需 要 获 取 通 信 完 整 性 的 实 体 发 送 Linktest.rsq 并 在 规 定 的 时 间 内 收 到
Linktest.rsq，表明测试连接正常。如果在规定时间内未收到，则表明测试连
接失败。在选择状态下，如果测试连接失败，则进入未连接状态。
（6）断开流程。这个流程主要是为了退出选择状态，进入非选择状态，
要求断开的实体发送 Separate.req 后退出选择状态，接收到 Separate.req 的实
- 13
万方数据
哈尔滨工业大学工学硕士学位论文
体也退出选择状态。
2.4.1.2 HSMS 报文格式
如图 2-5 所示，HSMS 的报文格式由三部分组成，第一部分是 HSMS 消
息长度，第二部分是 HSMS 消息头，第三部分是消息数据。
图 2-5 HSMS 报文格式
HSMS 消息长度占 4 个字节，它表示的是接下来报文的长度，也就是说，
这 4 个字节内容的数值等于 HSMS 消息头和消息数据两部分的长度之和。在
接收中，可以根据 HSMS 消息长度的内容，接受这个长度字节数的数据。
HSMS 消息头定义设备号、消息的类型（控制消息还是数据消息）、数据
消息是否需要回复、数据消息的 StreamFunction、控制消息的类型、控制消
息的状态、System Bytes。消息头的组成如表 2-2 所示，有 6 种内容，分别
是 Session ID、Header Byte 2、Header Byte 3、PType、SType、System Bytes。
其中 Session ID 占 2 个字节、System Bytes 占 4 个字节，其余的各占 1 个字
节。HSMS 消息头格式总结如表 2-3 所示，其中数据消息的 Header Byte 2 由
W-bit 和 Stream 组成，W-bit 用于表示数据是否需要回复。
消息数据只存在于数据消息。消息数据是发送和接收 SECS-II 消息内容，
根据 HSMS 消息头的 Stream 和 Function 来定义消息数据的格式。
表 2-2 HSMS 消息头组成
字节顺序
0-1
2
3
含义
Session ID
Header Byte 2
Header Byte 3
字节顺序
4
5
6-9
含义
PType
SType
System Bytes
2.4.2 SECS-II 协议
SECS-II 协议详细定义了消息数据。不仅定义了数据消息的格式，还定
义了数据消息的 Stream、Function、W-bit 和以及每种 StreamFunction 对应的
消息数据内容。它与 HSMS 结合，就可以发送完整的数据消息。这个标准主
要的优点之一是定义了一个半导体设备通讯内容的格式，协议开发人员不需
要对半导体生产和测试有太多的了解就可以开发通讯软件。
SECS-II 标准主要介绍如下几个部分：
（1）定义了通讯双方消息传递的方法，由 Stream 和 Function 组成；
- 14
万方数据
哈尔滨工业大学工学硕士学位论文
（2）定义了 Item 和 List 的格式，也就是数据消息组成的格式；
（3）消息交换由一组处理消息的规则控制，这些规则称为事务协议。事
务协议对任何 SECS-II 实现都有一些最低要求。
其中 SECS-II 定义的 Stream 和 Function 是在 HSMS 消息头实现，而
StreamFuntion 定义的消息内容则是在消息数据中实现。
表 2-3 HSMS 消息头格式总结
消息类型
数据消息
控制消息中的
Select.req
控制消息中的
Select.rsp
控制消息中的
Deselect.req
控制消息中的
Deselect.rsp
控制消息中的
Linktest.req
控制消息中的
Linktest.rsp
控制消息中的
Reject.req
控制消息中的
Separate.req
SessionID Byte 2 Byte 3 PType SType
最高位为 0 W-bit
Function
0
0
剩余的为
和
Stream
设备号
System Bytes
Primary Message：唯一
Reply Message：和对应的
Primary Message 一样
0xFFFF
0
0
0
1
唯一
0xFFFF
0
选择
状态
0
2
和 Select.req 一样
0xFFFF
0
0
0
3
唯一
0xFFFF
0
取消
状态
0
4
和 Deselect.req 一样
0xFFFF
0
0
0
5
唯一
0xFFFF
0
0
0
6
和 Linktest.req 一样
0xFFFF
0
理由码
0
7
和被拒绝的消息一样
0xFFFF
0
0
0
9
唯一
2.4.2.1 SECS-II 已定义的消息内容
Stream 用于类似或相关活动的消息类别，而 Function 则是在 Stream 的
某个消息类别里面的具体活动。SECS-II 所定义的内容基本满足半导体生产
和制造所需要的通讯内容，对于生产需要、但标准中未定义的消息，可以基
于 SECS-II 所规定的格式自定义消息。StreamFuntion 表示唯一的一条消息。
SECS-II 中留给标准定义的有：Stream 为 0 的所有消息内容；Stream 在 1 到
63 之间，且 Function 在 0 到 63 之间的消息内容；Stream 在 64 到 127 之间，
且 Function 为 0 的消息内容。剩余的部分用于用户自定义。
对于消息的发送和回复，第一次发送的是 Primary Message；对于需要回
复的 Primary Message，对应的回复消息为 Reply Message。SECS-II 的 Primary
message 和与之对应的 Reply message 通常是成对出现，而且它们之间有一定
的规律。
对于已定义的消息，Stream 表示的消息的分类如表 2-4 所示，表中的
- 15
万方数据
哈尔滨工业大学工学硕士学位论文
Function 部分为 SECS-II 中已经定义的 Funtion。
表 2-4 部分消息分类以及活动定义
Stream Function
1
0 – 20
2
0 – 50
3
0 – 26
4
0 – 42
5
0 – 18
6
0– 30
7
0 – 36
8
0–4
9
—
消息分类
设备状态
设备控制和诊断
材料状态
材料控制
异常处理
数据收集
处理程序管理
控制程序管理
系统错误
消息分类
终止服务
晶圆图
数据集传输
对象服务
接收管理
处理管理
设备控制和诊断
子系统控制和数据
－
Stream
10
12
13
14
15
16
17
18
－
Function
0 – 10
0 – 20
0 – 16
0 – 18
0 – 48
0 – 30
0 – 14
0 – 14
－
2.4.2.2 SECS-II 报文格式
SECS-II 的报文格式主要由格式码（Format Code）和 NLB（NO. of length
byte）、Length、数据字节组成。SECS-II 报文格式如图 2-6 所示，SECS-II
消息由上述的一个或者多个报文格式组成。
8
7
6
1
2
3
4
5
4
3
2
1
NLB
格式码
Length
Length
Length
5-n
数据字节
图 2-6 SECS-II 报文格式
表 2-5 SECS-II 格式码
格式码二进制值
000000
001000
001001
010000
010001
010010
011000
011001
信息类型
LIST
二进制值
布尔值
ASCII
JIS-8
2 字节字符
8 字节有符号整数
1 字节有符号整数
格式码二进制值
011010
011100
100000
100100
101000
101001
101010
101100
2
4
8
1
2
4
信息类型
字节有符号整数
字节有符号整数
8 字节浮点数
4 字节浮点数
字节无符号整数
字节无符号整数
字节无符号整数
字节无符号整数
SECS-II 报文由以下几部分组成：
（1）格式码。格式码占用第 1 个字节的高 6 位，信息类型由格式码体现。
格式码主要分为 List 和 Item 两种，表 2-5 是已定义的格式码，表中除了格
式码二进制值为 0 是 List，其余都是 Item。List 可以包含 List 或是 Item，而
Item 不能包含 List 或 Item。
- 16
万方数据
哈尔滨工业大学工学硕士学位论文
（2）NLB。NLB 占用报文第 1 个字节的低两位，表示 Length 的字节数。
（3）Length。Length 对于 List，表示的是 List 包含 List 或者 Item 的个
数；对于 Item，表示的是数据的长度，为格式码对应类型的字节数 LFC 的正
整数倍。Length 的字节数不是固定的，字节数的范围在 1 到 3 之间（标准规
定 0 是非法的），具体占用的字节数由 NLB 决定。
（4）数据字节。这部分存储的是格式码对应格式的数据，数据字节长度
由长度部分决定。如果格式码是 List，数据字节部分由 List 或 Item 组成，获
取内容需要继续按 SECS-II 报文格式进行分解；如果格式码是数字且 LFC 和
Length 不相等，需要使用 LFC 去截取数据，截取的每一段为数组中的一个元
素。
SECS-II Data Item 字典定义 SECS-II 标准消息中使用的 Data Item，字典
的每一个 Data Item 使用唯一助记符名称，此名称用于消息定义。每个 Data
Item 由名称、格式码、描述、使用 Data Item 的消息组成。名称是这个 Data Item
唯一的 ID；描述主要是对 Data Item 简要介绍；格式码表示 Data Item 允许使
用的格式码，使用的是 8 进制表示，可能一个或者是多个；使用 Data Item
的消息声明了标准的 SECS-II 消息中使用这个 Data Item 的 StreamFunction。
SECS-II 消息细节定义了 StreamFunction，可作为主机和设备之间通信的
基础。SECS-II 消息细节以标准形式描述，其涉及 StreamFuntion、名称、单
块（由“S”表示）或者多块（由“M”表示）、通信方向、所需答复的性质、
描述、变量定义以及根据 Data Item 的详细结构。其中，通信方向有三种：
“ H<-E”
表 示 消息只能 从设备 发 送 给 主 机、“H->E”表示消息 只能从主 机发给设备、
“H<->E”表示消息既可以从主机发给设备也可以从设备发给主机；所需答
复的性质有三种：reply 表示消息需要回复，[reply]表示消息需要回复是可选
的，空白表示消息不需要回复。
2.5 本章小结
本章主要对 AOI 的整体机械结构、工艺方案进行了介绍与分析，并设计
了设备的通讯方案。首先根据晶圆的特点介绍了全自动芯粒镜检机的机械和
控制的设计需求。根据设计需求，机械部分需要控制承片台运动的 X-Y 轴、
控制相机高度的 Z 轴、控制机械手上料和下料的 X1 轴、控制料盒上升下降
的 Z1 轴以及控制承片台旋转的 R 轴。在机械结构的基础上，介绍了缺陷检
测的工艺流程。对于数据通讯方案，由于 SECS/GEM 半导体设备通讯协议的
广泛应用，本文将其作为通讯方案。
- 17
万方数据
哈尔滨工业大学工学硕士学位论文
第 3章 晶圆缺陷检测的传统机器视觉算法
3.1 引言
AOI 系统最重要的部分是使用视觉算法对晶圆表面进行检测，本论文主
要研究晶圆缺陷检测的视觉算法。对于相机每个视场拍摄到的图像，通过模
板匹配获得每个完整晶粒的图像。针对墨点、污染、切割不良、缺角缺陷设
计了相应的检测算法。针对划痕缺陷，本文研究其分割方法。针对有纹理的
晶粒图像，本文设计纹理平滑方案。针对缺陷的类型和检测的算法设计了检
测的流程和软件。
3.2 模板匹配获取晶圆上晶粒的图片
由于晶圆缺陷检测是针对晶圆上的每个晶粒，需要使用模板匹配的方法
从晶圆的图片匹配出每个晶粒的位置，并获得晶粒的图片。
3.2.1 灰度模板匹配算子
模板匹配可以理解成将模板图像在待检测图像上从左上至右下依次滑动，
得出每个位置的匹配程度。
基于灰度的模板匹配主要有如下几种：
（1）平方差匹配法。利用模板图像和待检测图像灰度的平方差来进行比
较。其公式如下所示：
R( x, y ) (T ( x, y) I ( x x, y y ))
2
( 3-1 )
x , y
（2）归一化平方差匹配法。对平方差匹配法进行归一化处理，使其取值
范围在区间[0,1]内。其公式如下所示：
R ( x, y )
(T ( x, y) I ( x x, y y))
2
x, y
T ( x, y) I ( x x, y y)
2
x, y
2
( 3-2 )
x, y
（3）相关匹配法。采用模板和图像间的乘法操作。其公式如下所示：
R x, y Τ x, y I x x, y y
x , y '
( 3-3 )
（4）归一化相关匹配方法。对相关性匹配方法做归一化处理，使其取值
范围在区间[0,1]内。其公式如下所示：
- 18
万方数据
哈尔滨工业大学工学硕士学位论文
(T ( x, y) I ( x x, y y))
x , y
R( x, y )
T ( x, y) I ( x x, y y)
2
x , y
2
( 3-4 )
x , y
（5）系数匹配法。和相关匹配法相似，只是图像减去均值后再进行乘法
操作。其公式如下所示：
R( x, y) (T ( x, y) I ( x x, y y))
( 3-5 )
x , y
式中 T ( x, y) 和 I ( x x, y y) 分别如公式( 3-6 )和( 3-7 )所示。
T ( x, y) T ( x, y) 1 ( w h) T ( x, y)
( 3-6 )
I ( x x, y y) I ( x x, y y) 1 ( w h) I ( x, y)
( 3-7 )
x, y
x, y
（6）归一化相关系数匹配法。对系数匹配法进行归一化，使其取值范围
在区间[-1,1]内。其公式如下所示：
R( x, y )
(T ( x, y) I ( x x, y y))
x , y
T ( x, y) I ( x x, y y)
2
x , y
2
( 3-8 )
x , y
上述公式是对图片上的每一个点进行计算，整张图片处理后的结果是一
张匹配结果的映射图像。
大部分晶圆是完整的，对于旋转的晶粒，不需要检测；晶粒的大小再相
机视场下基本相同，就不用使用金字塔对模板图片进行缩放后再进行模板匹
配；缺陷检测也不需要亚像素级别的定位。
3.2.2 获取晶粒位置
灰度模板匹配后的映射图像，需要从中提取出晶粒的位置。目标的提取
分为单目标和多目标两种，单目标模板匹配只需要在相似度计算后，找到映
射图像中灰度值最大值的位置即为目标的位置。多目标模板匹配需要提取多
目标的位置，就不能使用最大值的方法。如果直接使用阈值进行分割，有些
目标可能会被忽略，有些单个目标可能会获得多个目标。
非极大值抑制（NMS）抑制非极大值的元素，保留极大值元素，从而提
取最准确的目标 [51] 。目标检测，应用非极大值抑制和交并比（IoU）筛选区
域过程：
（1）将检测到的所有矩形框按照概率值从大到小排序；
（2）取概率值最大的矩形框，与剩下的所有矩形框计算交并比；
（3）若交并比大于某个阈值，则删除概率更小的矩形框；
- 19
万方数据
哈尔滨工业大学工学硕士学位论文
（4）全部比较完后，保留概率值最大的矩形框；
（5）重复（2）-（4），直至处理完所有矩形框。
a) 待匹配图像
b) 对 a)模板匹配后只使用固定阈值分割
c) 模板匹配后使用固定阈值和极大值
d) 模板匹配后使用固定阈值、极大值和
非极大值抑制
图 3-1 模板匹配
对于匹配结果映射图像上的每一个点 x , y ，如果该点的灰度 T x, y 大
于设定的灰度阈值 T，该点是一个可能的目标点。就将 T x, y 作为分数， x , y
作为矩形的中心位置，模板大小 w, h 作为矩形的大小。然后按照非极大值抑
制的方法进行处理获得晶粒的位置。
由于非极大值抑制需要对分数进行排序，这部分的时间复杂度是
O
（NlogN）；排序后还要进行一次遍历，这部分的时间复杂度是 O
（N 2）。这两
部分的计算消耗比较大，如果非极大值抑制比较的点较多，耗时比较大。上
述方法虽然可以提取出模板的具体位置，但是如果分数的阈值比较小等原因
导致获得的目标点比较多，处理的时间很长。通常，模板匹配相似度处理后，
- 20
万方数据
哈尔滨工业大学工学硕士学位论文
目标位置是一个极大值，可以先提取分数大于某个阈值的极大值点作为候选
点，这就将筛选一部分的非目标点，减少了非极大值算法的处理时间。先定
义一个窗口，让窗口在待匹配图像上滑动，遍历整幅图像，窗口在图像上的
每个位置都会获得一个 ROI 图像。如果当前点的灰度值是这个 ROI 区域的最
大值，那么可以认为当前点是个极大值点。
图 3-2 墨点待检测图像
图 3-3 墨点阈值分割结果
图 3-4 最小外接矩形提取
图 3-5 墨点检测结果
待匹配的图片如图 3-1 a)所示，对其进行模板匹配处理后使用一个较低
的固定阈值对其进行分割后检测结果如图 3-1 b）所示，匹配的框有很大的
重叠，原因是一个晶粒得到多个匹配点。如果在图 3-1 b)的基础上查找极大
值，查找的窗口大小为 5 5 ，结果如图 3-1 c)所示，非极大值点被去除，但
是有些非目标区域被检测出来。图 3-1 d)显示对图 3-1 c)非极大值抑制后的
结果，非目标区域由于分数较低，被排除掉。
3.3 晶粒缺陷检测算法
晶圆缺陷主要有墨点、污染、切割不良、缺角等，本文主要针对目前的
晶圆样本，介绍本课题对这几种缺陷的检测方法。对划痕缺陷进行分割；针
对某些有纹理的晶圆，平滑图片上的纹理，保留缺陷部分。
- 21
万方数据
哈尔滨工业大学工学硕士学位论文
3.3.1 晶粒墨点检测
当晶粒测试出缺陷之后，需要将缺陷的晶粒打上墨点，方便于分辨晶粒
好坏。打完墨点后，检查墨点的效果并进行墨点的固定。墨点在晶粒上的位
置比较固定，尺寸和形状基本一致，并且有一定的浓度，墨点相对周围灰度
值较低。墨点图片如图 3-2 所示。
对灰度化图像进行二值化处理的表达式如下所示：
255 f ( x, y ) t
g ( x, y )
0 f ( x, y ) t
式中 g x , y ——分割后的图像；
( 3-9 )
f x , y ——灰度图像点 x , y 处的像素值；
t ——设定的阈值。
图 3-6 晶粒缺角
图 3-7 缺角晶粒 Canny 处理
这里可以通过图像二值化将其从晶粒图片中分割出来，如图 3-3。由于
其形状接近矩形，矩形的形状、面积、位置相对固定，可以用最小外接矩形
检测。图 3-4 是对检测到的联通区域进行最小外接矩形提取，其中绿色是联
通区域边缘，红色是最小外接矩形。为了减少不必要的计算量，这里只检测
墨点的面积和形状。墨点面积是计算墨点联通区域面积，形状是计算最小外
接矩形长宽比。对图 3-2 墨点样本检测结果如图 3-5 所示，红色框为墨点的
外接矩形。
3.3.2 晶粒缺角检测
缺角是晶圆常见的一种缺陷，如图 3-6 所示。这种缺陷通常发生在晶粒
的边角，通常缺角的灰度值比正常区域的低。
常用的边缘检测是 Canny 算子 [52] ，Canny 边缘检测过程中的关键技术有
高斯滤波、一阶求导、非极大值抑制以及双阈值的选择。首先通过 Canny 提
- 22
万方数据
哈尔滨工业大学工学硕士学位论文
取图像尽可能多的特征边缘。Canny 处理后的边缘图像如图 3-7 所示。霍夫
变换 [53] 检测的是图像中有足够多数量的点经过的直线。在霍夫变换的过程中，
直线参数化为点集 ( x, y) ，描述直线的方程如下：
x cos y sin
( 3-10 )
式中 ——直线到图像原点的垂直距离；
——与直线垂直的角度。
a) 膨胀处理
b) 闭操作处理
图 3-8 对图 3-7 进行形态学处理
由于 Canny 处理后的联通区域宽度为 1，腐蚀和开操作之后图像没有白
色像素值，这里就不展示。膨胀、闭操作处理后如图 3-8 a)和 b)所示。霍夫
直线检测算法处理未处理、膨胀处理、闭运算处理的边缘图像，分别如图 3-9
a)、图 3-9 b)和图 3-9 c)所示。
未形态学处理的图像和闭操作后的图像，晶粒顶部的边缘未检测完全，
容易造成误判，而膨胀处理后的图像，其边缘直线基本检测完全。所以采用
膨胀对边缘图像进行处理。
设霍夫变换提取的直线为 l i ，i=1,2,…,n。n 为直线的数目。对直线中不
满足以下三个条件之一的直线去除。
（1） di Lt ；（2） tan -1 ( k i ) 0 或者 tan -1 ( ki ) 90 ；（3） mi pt d max 或
者 mi pl dmax 或者 mi pr dmax 或者 mi pb d max 。
其中 Lt 是直线长度的阈值； d i 是第 i 个直线的长度； ki 是第 i 个直线的
斜率； mi 是第 i 个直线的中点； pt 是图像顶部的中点； pl 是图像左边缘的中
点； pr 是图像右边缘的中点； pb 是图像底部的中点； dmax 是中点偏移的最大
距离。
再从上述条件提取出来的直线中，找出图像四个边的直线中最长的直线
作为分别作为矩形的四条边 lt 、ll 、lr 、lb ，并获得直线的长度 dt 、dl 、dr 、db 。
- 23
万方数据
哈尔滨工业大学工学硕士学位论文
对图 3-9 b）检测到的霍夫直线筛选结果如图 3-10 所示。如果直线 dt Tw 或
者 db Tw 或者 dr Th 或者 db Th ，则表明有缺角缺陷。
a) 对图 3-17 进行霍夫直线
b) 对图 3-18 a)进行霍夫直
c) 对图 3-18 b)进行霍夫直
检测
线检测
线检测
图 3-9 霍夫直线检测
如果需要进一步判断缺角的位置，需要根据检测到的直线端点与图像边
缘的距离。设水平直线 lt 、 lt 的端点与图像左右边缘的距离误差阈值 TEw ，垂
直直线 ll 、 lr 的端点与图像上下边缘的距离误差阈值 TEh 。如果端点与边缘的
距离大于误差阈值，端点就有缺角缺陷。缺角缺陷检测结果如图 3-11 所示。
图 3-10 对图 3-9 b）检测到直线筛选结果
图 3-11 缺角检测结果
3.3.3 晶粒切割不良检测
晶圆切割不良，晶圆中的晶粒被切开。切开后的晶粒分成几个部分，但
分离部分合并后接近一个完整的晶粒。晶圆切割不良缺陷如图 3-12 所示，
晶粒分成两块。由于晶粒表面形状比较复杂，使用双阈值二值化提取晶粒上
主要成分，灰度值在双阈值中间的像素作为前景像素，其余的作为背景像素，
处理结果如图 3-13 所示。
形态学处理一定程度上可以去除噪声、连接间隙、移除小的凸块。形态
- 24
万方数据
哈尔滨工业大学工学硕士学位论文
学操作常用的有腐蚀、膨胀、开操作、闭操作。对于二值化的图像，作为 Z
中的集合 A 和 B，表示为 AB 的 B 对 A 的腐蚀定义为公式( 3-11 )；表示为
A B 的 B 对 A 的膨胀定义为公式( 3-12 )。开操作是先使用形态学操作的腐
蚀，获得腐蚀图像，再使用形态学操作的膨胀处理。闭操作与开操作相似，
只是顺序相反。
A B Z | ( B ) z A
( 3-11 )
A B { Z | ( Bˆ ) z A }
( 3-12 )
图 3-12 晶粒切割不良缺陷图像
图 3-13 对图 3-12 二值化分割
对图 3-13 进行腐蚀、开操作、膨胀、闭操作的结果如图 3-14 所示。由
图 3-14 可得，膨胀和闭操作连接分离的两部分，不利于特征识别；开操作
基本保留图像的有用成分，腐蚀则去除一部分的像素。由于晶粒表面图像的
特征，这就导致图像分割后，其联通区域数目不一定就是切割不良分离的块
数，分离的某一块可能有多个连通区域。如图 3-15 所示，这里检测到四块
联通区域，但其实晶粒分成两半。
本文切割不良样本联通区域通常有包含关系，因此可以通过检测联通区
域外接矩形是否包含来判断联通区域是否属于同一块。这里通过小矩形的中
心是否在大矩形的内部来检测。小矩形中心点 p 与大矩形关系如图 3-16 所
示。图 3-16 中 x y 为图像坐标系，x y 为大矩形的坐标系，根据公式( 3-13 )
和( 3-14 )获得小矩形的中心 p 在 x y 坐标系上的投影坐标 x p 和 y p ，只要
| x p | h / 2 且 | y p | w / 2 ，大矩形就完全包含小矩形，或者包含小矩形的一部
分。
x p ( x p x0 ) cos ( y p y0 )sin
( 3-13 )
y p ( y p y0 ) cos ( x p x0 ) sin
( 3-14 )
通过该方法得到的检测结果如图 3-17 所示。其中除背景颜色外，一种
- 25
万方数据
哈尔滨工业大学工学硕士学位论文
颜色对应分离的一块。
a) 腐蚀处理
c) 膨胀处理
b) 开操作处理
d) 闭操作处理
图 3-14 对图 3-13 形态学操作
图 3-16 小矩形中心点 p 与大矩形关系
图 3-15 图 3-14 b)联通区域提取结果
图 3-17 切割不良缺陷检测结果
3.3.4 晶粒污染检测
晶圆表面污染的来源有很多，可能是空气中的灰尘、某道工序的残留物
等等。表面污染物可以通过清洗将其去除，清洗后的晶圆可以再利用。
晶圆表面污染和墨点不同，墨点的灰度、形状、面积和位置相对固定，
而污染物的这些参数都是很不确定的，特别是出现在晶圆的特征边界上，即
容易影响特征识别又容易对污染物产生漏检。晶圆上晶粒表面污染如图 3-18
- 26
万方数据
哈尔滨工业大学工学硕士学位论文
所示。图 3-18 经过 Canny 处理后如图 3-19 所示，晶圆的部分污染物被分
割，但特征边界上的污染物没能与特征边界分离开。
图 3-18 晶粒表面污染图像
图 3-19 对图 3-18 进行 Canny 处理
由于晶圆样本的特征边界主要是直线，这些直线又与图像边缘平行或垂
直，对于污染物在这种边界上，可以通过沿直线方向的梯度判断，直线上没
有污染物时，除直线的端点外，直线内部的梯度为 0；直线上有污染物时，
污染物处沿直线方向的梯度不为 0。本课题使用 Sobel 算子 [54] 处理图像获得
梯度图像，其公式如下所示。
1 0 1
Gx 2 0 2 * I
1 0 1
( 3-15 )
1 2 1
G y 0 0 0 * I
1 2 1
( 3-16 )
式中 I ——未处理的晶粒图像
G x ——x 方向 Sobel 算子处理后的图像
G y ——y 方向 Sobel 算子处理后的图像
对图像用 x 方向和 y 方向的 Sobel 算子处理后，处理后的图像分别如图
3-20 a)和图 3-20 b)所示。由图 3-20 可得，水平直线和垂直直线上面的污染
物与直线分割开。 Sobel 算子处理后的灰度图里面有些噪声，这些噪声产生
的梯度不大或者面积比较小，通常可以忽略。这里用二值化处理图像，去除
梯度 图中小梯 度和 噪声等 成 分，保留有用的成分。二值化处理后如图 3-21
所示。从图 3-21 中可得，沿着与直线垂直方向的梯度，直线基本被保留；
与之平行的梯度，直线基本上被去除，而上面的污染物基本被保留。去除大
的联通区域面积后合并两个梯度图像，污染检测结果如图 3-22 所示。由图
3-22 可得，晶粒上的污染物基本被检测出来。
- 27
万方数据
哈尔滨工业大学工学硕士学位论文
a) x 方向 Sobel 算子处理
b) y 方向 Sobel 算子处理
图 3-20 对污染晶粒进行 sobel 算子处理
a) 对图 3-7 a)进行二值化处理
b) 对图 3-7 b)进行二值化处理
图 3-21 对图 3-20 进行二值化处理
图 3-22 污染检测结果
图 3-23 模糊的晶粒图像
上述待检测晶粒图像比较清晰、光照比较均匀，如果部分图像比较模糊，
图 像 的边 缘 特 征 梯 度 比 清 晰 的 图 像 小 ， 晶 粒 的 边缘 提 取 后 可 能 不 连 续。 图
3-23 是一颗在同一视场上采集的模糊晶粒图像。图 3-23 经过 y 方向 Sobel
算子处理后，再进行单阈值分割，结果如图 3-24 所示。此时，分割不全的
边界可能会被当成污染物，处理结果如图 3-25 所示。
- 28
万方数据
哈尔滨工业大学工学硕士学位论文
根据在梯度图像上，缺失的特征边界与被提取的特征边界梯度值相差不
大，本文使用区域生长法 [55] 连接特征边界。它的原理比较简单，通过在图像
中自动或手动选择种子点，然后对种子点邻接的点进行检测，如果满足生长
准则就生长，直到区域没有继续生长就停止。最主要的部分是种子点的选取
和生长准则。基于区域生长法的原理，本文使用的具体方法为：设定高低两
个阈值 Th 和 T l ，遍历梯度图像每个像素点，如果图像的某个点的灰度值大于
Th ，将这个点作为种子点进行深度优先搜索，搜索过程中，如果邻接点的像
素值大于 T l ，那么该点也是这个联通区域的一个点，然后将这些前景像素点
标记为已搜索，下次搜索忽略这些点。这样搜索后就可以将图像特征边缘保
留。图 3-26 是用区域生长法代替阈值分割处理后的结果，图中边缘没有被
分割成污染物。
图 3-24 图 3-23 经过 y 方向 Sobel 算子
图 3-25 图 3-23 污染物检测结果
处理后单阈值分割结果
图 3-26 区域生长法检测结果
3.3.5 晶粒划痕分割
划痕是一种比较复杂的缺陷，通常这种缺陷呈一条曲线。这种缺陷通常
是不可修复的缺陷，直接导致晶粒报废，但是某些划痕缺陷可能是设备的操
作不恰当导致的，是可以避免的缺陷 [7] 。晶圆上的划痕比较复杂，划痕可能
- 29
万方数据
哈尔滨工业大学工学硕士学位论文
会相交叉，分割划痕有利于进一步分析划痕形状。采用直接提取联通区域的
方法可能无法分割连接的划痕；采用霍夫直线的方法，如果划痕的曲率比较
大，一条划痕可能会得到好几条直线。
采用 Zhang-Suen 细化算法 [56] 获得划痕的骨架。Zhang-Suen 细化算法分
为两个步骤：
步骤 1：遍历所有的前景像素点，如果前景像素点满足以下四个条件，
将其标记为可删除：
（1） 2 N p1 6 ；（2） S p1 1 ；（3） p2 p4 p6 0 ；（4） p4 p6 p8 0 。
其中， pi 是像素点，i=1,2,…,9， pi 之间的位置关系如图 3-27 所示； N p1 是
与 p1 8 联通邻接的 8 个像素点中，为前景像素点的个数；S p1 是与 p1 相邻的
8 个像素顺时针遍历一圈，从前景像素变成背景像素的次数。
p9
p2
p3
p8
p1
p4
p7
p6
p5
图 3-27 p i 之间的位置关系
步骤 2：前景像素点满足以下四个条件，将其标记为可删除：
（1） 2 N p1 6 ；（2） S p1 1 ；（3） p2 p4 p8 0 ；（4） p2 p6 p8 0 。
循环上述两步骤，直到所有的前景像素点都不满足上述两个步骤的条件，
此时前景像素构成的图像是骨架的图像。
判断交叉点的方式是顺时针或逆时针遍历像素点的 8 联通像素。如果遇
到的某个像素不是背景像素，则相邻像素点个数加 1，且跳过下一个像素点
的检测，直接检测下下个像素点。对根据上述规则得到的交叉点，图像中把
这些交叉点的像素值标记为 2。这种方法检测到的交叉点如图 3-28 所示，图
3-28 c)实际的交叉点应该是十字交叉点中心，但是提取的交叉点不仅包括实
际的交叉点，还包括交叉点附近的点。
但是这些交叉点都是 8 联通相邻的。于是实际的一个交叉点应该使用交
叉点的集合 CPi 表示， CPi CPi1 , CPi 2 , CPi 3 , , CPin ，n 表示集合中点的个数，
比如图 3-28 c)中，n=5。
以交叉点集合 CPi 为中心，搜索分支联通区域。如果直接以交叉点集合 CPi
相邻的某个非交叉点开始进行 8 联通深度优先搜索，则可能两个分支合并成
一个分支。如图 3-29 所示的交叉点，直接以交叉点集合 CPi 相邻的非交叉点
- 30
万方数据
哈尔滨工业大学工学硕士学位论文
开始进行 8 联通深度优先搜索，获得的只有两个分支而不是三个分支。
a)
b)
图 3-28 交叉点示意图
c)
于是先找出交叉点 集 合 CPi 邻接点集合 CNPi CNPi1 , CNPi 2 , CNPi 3 , , CPim ，
m 表示集合中点的个数。集合 CNPi 已经删除 4 联通邻接的两点之一，删除的
点与交叉点集合距离较远。给图像中 CNPi 集合内的每个像素值为 1 的点标记
为一个唯一的、大于 2 的值，如图 3-30 所示，这样深度优先搜索就可以跳
过不同分支的点。
图 3-29 交叉点之一
图 3-30 交叉点邻接点标记结果
以 CNPi 中的每个点为起始点进行深度优先搜索，就可以获得以交叉点集
合 CPi 为中心的交叉点分支集合 CBi ，CBi CBi1 , CBi 2 , CBi 3 , , CBim 。在搜索过
程中，如果非交叉点相邻的点中有交叉点且交叉点不属于搜索的分支，则进
行四联通区域搜索，主要是为了防止搜索遇到的交叉点还未对其附近的邻接
点进行标记。
对于 CBi 中的每个分支 CBi j ，如果 CBi j 中点的个数大于 N，只提取与交叉
点比较近的 N 个点进行拟合直线，防止距离较远的前景点对其产生干扰。如
果分支 CBi j 中点的个数小于 N，找出 CPi 中与 CBi j 最近的交叉点 CPik xcp , ycp ，
以及找出 CBij 中与 CPik 最远的点 CBijk xcb , ycb 根据公式( 3-17 )得到拟合直线。
y
ycp ycn
xcp xcb
x xcb ycb
( 3-17 )
对于分支 p 和分支 q，得到分支 p 和分支 q 的斜率 k p 和 k q ，根据公式( 3-18 )
获得斜率的弧度差 s pq ，以及根据公式( 3-19 )和公式( 3-20 )分别获得分支 p
和分支 q 的向量 v p 、v q 。
- 31
万方数据
哈尔滨工业大学工学硕士学位论文
s pq tan 1 k p tan 1 kq
( 3-18 )
v p CPip CBijp
( 3-19 )
v q CPiq CBijq
( 3-20 )
得到拟合直线后两两进行比较，如果 s pq Tsi 且 v p v q 0 ，那么分支 p 和分
支 q 可以合并，从可以合并的分支中找出满足公式( 3-21 )条件的两条直线对
应的联通区域 p 和 q ，将其合并，并将交叉点标记为属于合并的联通区域。
重复上述步骤直到没有发生联通区域合并。
min( CNPip , CNPiq )
( 3-21 )
p , q
遍历所有未处理过的交叉点，重复上述步骤，就能分割划痕的联通区域。
图 3-31 有划痕缺陷的晶粒
图 3-32 目标检测区域
图 3-33 划痕骨架
图 3-34 划痕分割结果
b)
a)
c)
d)
图 3-35 图 3-27 部分划痕分割结果
对图 3-31 有划痕缺陷的晶粒，先对其提取目标电极区域如图 3-32 所示，
再对目标区域进行处理，获得图 3-33 划痕的骨架，最后使用本文的算法分
割结果如图 3-34 所示。
其中，十字交叉线的分割结果如图 3-35 a)、图 3-35 b)所示。其它类型
- 32
万方数据
哈尔滨工业大学工学硕士学位论文
的交叉点分割结果如图 3-35 c)、图 3-35 d)所示，其中像素灰度值为 2 表示
交叉点，其他的像素值如果是同一像素值，算同一道划痕。
3.3.6 平滑晶粒纹理
某些晶粒上的部分区域有纹理，如果缺陷在这些纹理的区域中，比较难
分割。去除纹理有助于后续的处理。
图 3-36 部分区域有纹理的晶粒
图 3-37 纹理平滑结果
Xuli 等提出用 L0 梯度最小化算法 [57] 平滑纹理。通过交替优化的方法求
解公式：
min{ ( S p I p ) C (h, v ) (( x S p hp ) 2 ( y S p v p ) 2 )}
2
S ,h,v
( 3-22 )
p
式中 p ——像素的位置；
I p ——原图像；
S p ——优化后的图像；
hp 、 v p ——辅助求解变量；
C h, v ——自适应参数之一， C h, v # p| hp v p 0 ，表示 hp v p 0 的
像素个数；
ß ——自适应参数之一；
——控制 C h, v 的显著性；
x S p ——输出图像 S 的 x 方向梯度；
y S p ——输出图像 S 的 y 方向的梯度。
通过交替优化公式（3-22）中的参数 S 和参数 h p 、vp 来求解方程。分为
- 33
万方数据
哈尔滨工业大学工学硕士学位论文
两个子问题：固定 S 优化 h, v 以及固定 h, v 优化 S。
子问题 1：固定 h, v ，计算 S
求解 S 的公式：
( I ) ( ( x ) ( h) ( y ) (v ))
S 1
(1) ( ( ) ( ) ( ) ( ))
x
x
y
y
( 3-23 )
其中 表示傅里叶变换， 1 表示反傅里叶变换， ()* 表示复共轭
子问题 2：固定 S 求解 h, v
h, v 的计算公式：
(0, 0)
( x S p ) 2 ( y S p ) 2
hp , v p
otherwise
( x S p , y S p )
( 3-24 )
晶粒图像如图 3-36 所示，经过 L0 梯度最小化平滑之后如图 3-37 所示。
图中的纹理基本上都被平滑掉，污染物部分基本保留，图片中的数字部分也
保存较完好。图 3-38 a)和 b)分别是图 3-36 和图 3-37 中蓝色直线上的灰度
值统计，通过对比可以发现本文使用的 L0 梯度最小化平滑的算法能很好地
灰度值
灰度值
平滑晶圆的纹理和噪声，并保留缺陷部分，图像的特征边缘基本未被平滑。
a) 原图
b) L0 平滑后
图 3-38 L0 梯度最小化平滑效果
3.4 晶圆图像处理系统搭建
3.4.1 图像处理流程
相机是一个视场接一个视场采集晶圆图片，一个视场有很多个晶粒，需
要通过模板匹配获得每个晶粒的图像。被打上墨点的晶粒可能是划痕、缺角
等外观缺陷或者是测试机测试不通过的晶粒，这些晶粒必须剔除，而且墨点
缺陷形状、位置固定，比较容易检测。所以首先进行墨点缺陷检测。缺角缺
- 34
万方数据
哈尔滨工业大学工学硕士学位论文
陷和切割不良缺陷都是严重损坏，但是缺角缺陷容易检测、检测的正确率比
较高，所以先进行缺角检测，再进行切割不良检测。污染检测相对比较难，
由于其可以通过清洗去除，对晶粒的影响相对来说比较不严重，这里将其放
在最后处理。检测流程如图 3-39 所示。
墨点缺陷检测
缺角缺陷检测
切割不良缺陷检测
污染缺陷检测
图 3-39 检测流程
3.4.2 软件系统搭建
本章根据缺陷检测的算法和检测流程，使用 QT 编写了实验界面，并进
行测试。界面如图 3-40 所示。软件主要是模板匹配功能和缺陷检测功能，
显示检测图片和打印检测结果。其中软件有一个功能是偏移检测，用于判断
一个视场上的某些晶粒偏离某一行或者某一列。
图 3-40 图像处理界面
3.5 本章小结
本章针对晶圆样本进行机器视觉算法的设计，讲解了相关的理论，并设
- 35
万方数据
哈尔滨工业大学工学硕士学位论文
计了相应的软件系统。对于 AOI 采集的晶圆图片，本文使用灰度模板匹配算
法提取晶圆上的晶粒图像，对于模板匹配相关性处理后的图像，通过阈值分
割和提取灰度极大值获得候选晶粒位置，并通过非极大值抑制的方法排除误
匹配的晶粒。对于污染缺陷，由于晶粒特征边界基本与图像边缘平行或垂直，
提出通过梯度图像提取晶粒特征边界处的污染物，对于晶圆图像中同时存在
清晰和模糊的晶粒图像，使用区域生长法正确分割特征边界和污染物；对于
划痕缺陷，可能会出现交叉，提出基于 Zhang-Suen 细化算法的划痕连接和分
割算法；对于墨点缺陷，墨点的形状、大小等相对固定，根据联通区域的面
积以及最小外接矩形的长宽比提取墨点缺陷；对于切割不良缺陷，根据联通
区域最小外接矩形的包含关系合并联通区域，并通过该方法提取切割不良分
离的块数；对于缺角缺陷，运用霍夫直线提取晶粒边缘的直线，并根据直线
的长度判断晶粒是否有缺角，再通过直线端点与图像边缘的距离判断缺角的
位置；对于有纹理的晶圆图像，纹理对缺陷检测会产生干扰，通过 L0 梯度
最小化算法，平滑晶圆的纹理，保留缺陷部分，便于后续的图像处理。最后
根据检测需求搭建软件系统。
- 36
万方数据
哈尔滨工业大学工学硕士学位论文
第 4章 晶圆缺陷检测的深度学习目标检测
4.1 引言
深度学习相对传统图像处理比较简单，对于不同的缺陷只要重新进行标
注再训练后就可以进行缺陷检测，不仅如此深度学习对于复杂的缺陷检测效
果比传统的机器视觉方法好。本章主要是对于划痕和污染缺陷使用深度学习
的方法进行目标的检测并提取相关信息。由于晶圆缺陷检测对检测速度、小
目标检测效果要求高，对常用的网络模型进行对比。接着介绍网络模型的设
计，包括网络结构、网络的输出、损失函数。最后对模型进行训练。
图 4-1 YOLO v3 网络结构 [42]
4.2 基于 YOLO v3 的深度学习模型设计
4.2.1 YOLO v3 的网络结构
本 课 题 用 于 晶 圆 缺 陷 检 测 的 网 络 结 构 是 Darknet-53， 其 网 络 结 构 如 图
- 37
万方数据
哈尔滨工业大学工学硕士学位论文
4-1 所示，网络结构借鉴了残差网络 [58] 的思想，导致其速度不是慢很多而且
提高检测效果。基础网络有 53 个卷积层，卷积层全部使用批标准化。由于没
有使用全连接层，网络的输入可以接受不同尺寸的图片。
Darknet-53 使用了多尺度预测，每种尺度预测 3 个框，锚的设计方式仍
然使用聚类，得到 9 个聚类中心，将其按照大小均分给 3 种尺度。尺度 1：
在基础网络之后添加一些卷积层再输出检测结果，输出 13 13 的特征图；尺
度 2：从尺度 1 中的倒数第二层的卷积层添加一个卷积层再上采样（ 2 ），
然后与网络中间的一个 26 26 大小的特征图连接，通过多个卷积后输出检测
结果，相比尺度 1 变大两倍；尺度 3：与尺度 2 类似，从尺度 2 的倒数第二
层添加一个卷积层再上采样（ 2 ），然后与网络中的一个 52 52 的网络相连
接，连接之后经过几个卷积层，输出 52 52 的特征图。顶层的特征图上使用
了底层的特征图，使其对小目标检测效果更好。
网络输出 三个 三维 矩 阵， 每个矩阵的尺寸为 N N [3 4 1 C ] 。N
是输出的网格大小，由于本课题网络的输入图像大小为 224 224 ，输出的网
格大小分别是 7、14、28；C 是检测的类别数，本课题有污染和划痕两种缺
陷，C 的值为 2；3 是锚的个数，4 用来表示矩形框的尺寸，1 表示置信度。
4.2.2 YOLO v3 网络输出目标获取
网络的输出是 3 个 N N 个网格，对于每个网格输出的方框，并不是所
有的方框都是物体，只有当置信度和类别的概率相乘后大于阈值的框才是预
测成功的物体，同时可以获得预测的类别。
神经网络输出的矩形坐标 t x 、 t y 、 t w 、 t h 不是直接的结果，需要经过变
换。它们与实际矩形坐标的关系如图 4-2，变换公式如公式( 4-1 )-( 4-4 )所示。
由于输出的方框 bx 、 b y 、 bw 、 bh 已经缩放到输出网格的大小，所以输出的网
络需要除以步幅，3 种不同的尺度步幅大小分别为 7、14 和 28。
bx t x c x
( 4-1 )
by t y c y
( 4-2 )
bw pw etw
( 4-3 )
bh ph eth
( 4-4 )
式中 t x 、 t y 、 t w 、 t h ——网络输出的矩形坐标；
bx 、 b y 、 bw 、 bh ——实际输出的矩形坐标。
类别预测使用的是逻辑回归预测。如果当前预测的边界框比之前的更好
- 38
万方数据
哈尔滨工业大学工学硕士学位论文
地与正确标注的对象重合，那它的分数是最高的分数。如果当前的预测不是
最好的，但它和正确标注的对象重合到了一定阈值以上，神经网络会忽视这
个预测。
图 4-2 网络输出矩形坐标与实际矩形坐标关系 [42]
4.2.3 YOLO v3 损失函数
损失函数主要由 4 部分组成，分别是矩形框坐标的损失、类别的损失、
包含物体的损失和不包含物体的损失：
（1）矩形框坐标的损失。坐标预测主要是由两个部分组成，分别是矩形
的位置坐标和矩形的长和宽。
（2）类别的损失。若格子中包含物体，希望预测正确类别的分数越高越
好，而错误类别的分数越低越好。若 c 为正确类别，则输出网络预测 c 类别
的网格值接近 1，若非正确类别，则该类别对应网格的值接近 0。这部分使用
二值交叉熵损失。
（3）包含物体的损失。若有物体落入边界框中，则计算预测网格含有物
体的置信度 Ci 和真实物体在网格中（ Cˆ i 1 ）的误差，希望两者差值越小损失
值越低。
（4）不包含物体的损失。若没有任何物体中心落入边界框中，则 Cˆ i 0 。
其中，包含物体损失和不包含物体误差可以总结为交并比误差，损失函
数公式如下所示：
S2
loss coordError iouError classError
I 0
式中 coordError ——坐标误差；
iouError ——交并比误差；
- 39
万方数据
( 4-5 )
哈尔滨工业大学工学硕士学位论文
classError ——类别误差。
4.2.4 锚框的聚类
实际输出方框的宽和高是在锚框的基础上偏置获得的，如果锚框的大小
和目标的大小接近，预测效果较好。网络中的锚框需要先进行 K-means 聚类，
获得与实际缺陷大小接近的锚框。K-means 的计算步骤如下：
（1）获得每个人工标记方框的宽和高 w, h ；
（2）随机选取 9 个方框作为中心点；
（3）遍历所有方框数据，将每个数据根据距离划分到最近的中心点中；
（4）计算 9 个聚类里 w, h 的中心，并作为新的中心点；
（5）重复（3）-（4），直到这 9 个中心点不再变化，或执行了足够多的
迭代。
这里，K-means 的距离计算不是使用欧式距离，而是使用基于交并比的
距离公式：
d (box, centroid ) 1 IOU (box, centroid )
( 4-6 )
式中 box ——待聚类的方框，也就是输入的所有方框；
centroid ——聚类的中心，由于有 9 种锚框，所以聚类的中心有 9 个；
IOU ——计算两个框的交并比；
d ——表示方框到聚类中心的距离。
由于晶粒上的缺陷尺寸与 VOC 数据集有一定的出入，需要使用 K-means
对缺陷的实际矩形尺寸进行聚类。在 VOC 数据集上 K-means 聚类后的尺寸
为(10,13)、(16,30)、(33,23)、(30,61)、(62,45)、(59,119)、(116,90)、(156,198)、
(373,326)。本文使用的晶粒数据集 K-means 聚类后的结果为(6,6)、(8,8)、(9,6)、
(11,8)、(14,17)、(14,12)、(21,13)、(28,24)、(46,33)。两种数据集锚框的大小
相差比较大，于是选用基于晶圆缺陷样本聚类的锚框。将 9 个锚框均分给 3
个尺度，大的锚框分配给小的输出尺度。本文把(21,13)、(28,24)、(46,33)分
配给输出为 7 7 的网络，(11,8)、(14,17)、(14,12)分配给 14 14 的网络，(6,6)、
(8,8)、(9,6)分配给 28 28 的网络。从聚类得出的缺陷大小可知，目标缺陷比
较小。
4.3 模型的训练
该模型由 Keras 实现，后端为 Tensorflow。实验运行在操作系统为 Ubuntu
16 64 位的服务器上，带有至强 E5-2650 v2 CPU（频率 2.60 GHz）、32GB 内
- 40
万方数据
哈尔滨工业大学工学硕士学位论文
存和 GTX-1080Ti GPU。图像标注使用的是 labelImg 软件，该软件用矩形框
标记缺陷，每张图片标记后将生成带有原图像信息和缺陷信息的 XML 文件，
再转成 YOLO 输入的文本文件。
由于训练样本较少，本文使用 YOLO v3 在 ImageNet 上训练得到的预训
练权重，在其基础上进行训练。网络先使用迁移学习训练最后两层，训练完
后再对所有的节点权重进行微调。
a) 原图像
b) 包含人工标记和检测结果的图像
图 4-3 缺陷检测图像
训 练 样 本如 图 4-3 a)所 示 ， 图片 中 有 1 道划 痕和 5 个 污染 物。 经过
labelImg 软 件 标 记 后 图 像 如 图 4-3 b) 的 绿 色 方 框 所 示 。 训 练 的 样 本 尺 寸
215 65 ，样本数量总共有 1738 张晶粒图片，包含污染和划痕两种缺陷，污
染的缺陷类型比较多，划痕的样本数量比较少。划痕的样本有 271 张，污染
的样本有 1738。将训练、测试样本数按 6：4 的比例划分，划分后，其中划
痕的样本中训练、测试比例也是接近 6：4。划分后的结果，训练集有 1112
张图片，测试集有 626 张图片。其中划痕的样本，训练集中有 175 张图片，
测试集有 96 张图片。
训练时，输入到网络的图片需要调整到分辨率 224 224 。训练使用 Adam
优化器，Adam 优化器公式如下所示：
Wt 1 Wt
mˆ t
vˆt
mˆ t
mt
1 1t
vt
vˆt
1 2t
( 4-7 )
mt 1mt 1 (1 1 ) gt
vt 2 vt 2 (1 2 ) g t 2
式中 gt ——t 次迭代代价函数关于权重的梯度大小， g t 2 是对应元素的平方；
m t ——一阶动量项；
vt ——二阶动量项；
1 ——一阶动量项动力值大小；
- 41
万方数据
哈尔滨工业大学工学硕士学位论文
2 ——二阶动量项动力值大小；
mˆ t —— m t 的修正值；
vˆt —— vt 的修正值；
——初始学习率；
Wt ——第 t 次迭代的权重。
第一次训练，训练的初始学习率为 10 -3 ，训练过程中学习率不变，训练
批量为 32，共训练 100 轮。第二次训练网络的所有权重参数，训练的初始学
习率为 10 -4 ，当训练集上的损失值在 15 轮内没有减小，学习率乘以 0.95；训
练的批量为 24，共训练 1100 轮。
60
50
40
30
20
10
0
0
200
400
600
800
1000
1200
step
图 4-4 第一次训练损失值的变化
图 4-5 第二次训练损失值的变化
10-4
1
0.8
0.6
0.4
0.2
0
100
300
500
700
900
1100
1300
step
图 4-6 第二次训练学习率变化
第一次训练的损失值如图 4-4 所示，这部分训练结束后，损失值为 53.04。
100 轮之后，进行第二次训练，训练网络的所有权重参数，训练的损失值如
图 4-5 所示，训练过程中学习率变化如图 4-6 所示，训练到第 1200 轮之后
损失值达到了 17.83。损失值相对比较高，可能的原因是缺陷比较复杂不容
易标记；每张图像的目标缺陷较多。
- 42
万方数据
哈尔滨工业大学工学硕士学位论文
4.4 本章小结
本章使用深度学习目标检测对晶圆的缺陷进行检测。首先对比了 YOLO
v3 和其他深度学习目标检测模型的特点，说明 YOLO v3 适合晶圆缺陷检测。
接着介绍缺陷检测使用的网络模型、目标获取和损失函数。自制缺陷样本的
检测数据，对晶圆缺陷的预测框进行聚类，获得检测的锚框。对模型进行训
练，并调整训练参数。
- 43
万方数据
哈尔滨工业大学工学硕士学位论文
第 5章 晶圆表面缺陷检测系统实验与分析
5.1 引言
本章主要是对图像处理算法进行了一些实验测试和分析，并进一步设计
通讯协议。首先分析灰度模板匹配算子的速度，接着对检测的准确率进行测
试。对深度学习的检测效果进行分析。最后设计缺陷数据传输的消息格式、
程序处理流程、协议的软件，通过软件进行通讯，并测试。
5.2 模板匹配实验分析
（1）模板匹配速度检测
本章图像处理使用个人笔记本电脑运行程序，
操作系统是 Windows 10 64 位，cup 是英特尔 i5-3337U（频率 1.80 GHz），计
算机内存 12 G。原图像如图 5-1 所示，图像位深度为 8，分辨率 2048 2048 ；
使用的模板如图 5-2 所示，图像位深度为 8，分辨率 36 22。检测时间如表 5-1
所示，可得平均时间分别为 411.1 ms、454.8 ms、290.4 ms、439.1 ms、385.9
ms、454.7 ms。由此可得相关性匹配的时间最少。但是平方差匹配、相关性
匹配、系数匹配法处理后的图像，灰度值很大，不方便处理，有必要对其进
行归一化。三种归一化的匹配都对后续的处理影响不大，但归一化的相关匹
配方法时间最短，于是选用归一化的相关匹配进行处理。
图 5-1 晶圆图像
- 44
万方数据
哈尔滨工业大学工学硕士学位论文
表 5-1 模板匹配相关性计算时间
次
数
平方差匹
配（ms）
1
2
3
4
5
6
7
8
9
10
453
422
391
407
390
438
406
407
391
406
归一化的
平方差匹
配（ms）
469
453
484
437
500
485
438
422
422
438
（2）匹配结果实验
相关性匹
配（ms）
297
281
297
281
297
312
281
296
281
281
归一化的
系数匹配
相关匹配
法（ms）
方法（ms）
484
531
485
406
422
391
438
344
453
422
437
359
406
359
438
344
422
343
406
360
归一化相
关系数匹
配法（ms）
500
469
453
437
485
454
453
421
438
437
对图 5-1 使用本文的模板匹配算法进行处理，
使用图 5-2 的模板图像。匹配的一部分如图 5-3 所示，晶圆上完整的晶粒几
乎全部被匹配出来。匹配的结果有 617 个晶粒，而图片上完整的晶粒有 617
个。匹配时间如表 5-2 所示，平均值为 83.40 ms，满足匹配时间在 135 ms
以内的要求。
表 5-2 模板匹配时间
测试次数
时间（ms）
1
91
2
81
3
82
4
80
5
81
图 5-2 模板图像
6
81
7
81
8
90
9
81
10
86
图 5-3 匹配结果图像
5.3 传统视觉缺陷检测实验分析
对于墨点缺陷，一共有 725 个样本，其中 3 个样本是切割不良，误检成
切割不良的 1 个，误检成污染的有 16 个，检测成功率是 97.66%。725 张墨
点晶粒图片检测总时间如表 5-3 所示，单个墨点图片的检测时间为 0.19 ms。
对于缺角缺陷，一共有 105 个样本，其中有两个缺角的晶粒样本有 8 张，
有 2 张双缺角缺陷的一个缺角没检测出来。检测成功率为 98.23%。未检测出
来的缺角较小。105 张缺角晶粒图片检测总时间如表 5-4 所示，单个缺角晶
- 45
万方数据
哈尔滨工业大学工学硕士学位论文
粒图片的检测时间大概为 0.79 ms。
图 5-4 晶粒污染缺陷比较大
图 5-5 污染在角点处
对于切割不良缺陷，一共有 174 个样本，其中，有交叉的切割不良样本
9 张，打上墨点的切割不良 3 张。有 1 张同时有墨点缺陷和切割不良缺陷被
检测为切割不良，2 张被检测成缺角，还有 10 张被检测为污染，检测成功率
为 91.38%。其中有部分原因是切割不良缺陷不在晶粒的中心位置，导致矩形
检测时，矩形完全。155 张切割不良晶粒图片检测总时间如表 5-5 所示，单
个切割不良晶粒图片的检测时间大概为 1.31 ms。
表 5-3 725 张墨点晶粒图片检测总时间
1
测试次数
时间（ms） 132
2
134
3
133
4
135
5
135
6
134
7
137
8
137
9
139
10
137
8
84
9
81
10
83
8
230
9
225
10
225
8
138
9
139
10
152
表 5-4 105 张缺角晶粒图片检测总时间
测试次数
时间（ms）
1
89
2
84
3
86
4
81
5
82
6
81
7
83
表 5-5 174 张切割不良晶粒图片检测总时间
1
测试次数
228
时间（ms）
2
227
3
228
4
232
5
229
6
228
7
227
表 5-6 55 张污染晶粒图片检测总时间
1
测试次数
140
时间（ms）
2
140
3
128
4
129
5
139
6
133
7
140
对于污染缺陷，本文对 55 张污染图片进行污染提取，检测每张图片污染
的个数和定位污染的位置。这 55 张图片一共有 212 个污染，检测出来的缺陷
有 183 个，其中误检有 3 个，成功率为 86.32%。单个污染误检成两个的原因
是污染缺陷比较大，呈细长的矩形的形状，缺陷沿梯度方向的距离比较远，
处理后没有连接，如图 5-4 所示；未检测成功有一部分原因是因为污染物离
端点或者交叉处太近，梯度图像上污染物与特征边界相连接而被排除，如图
- 46
万方数据
哈尔滨工业大学工学硕士学位论文
5-5 的红色方框处。55 张图片测试的总时间如表 5-6 所示，平均每个晶粒的
时间约为 2.48 ms。
5.4 深度学习缺陷检测实验分析
对于采集到的数据，需要分析检测的效果。检测效果的评价指标主要有
3 个：精确率、召回率、综合评价指标。公式分别为：
TP
Precision =
TP + FP
TP
Recall =
TP + FN
2 Precision Recall
F1 =
Precision Recall
式中 TP ——将缺陷目标预测为缺陷目标；
( 5-1 )
( 5-2 )
( 5-3 )
FN ——将缺陷目标预测为其他缺陷或背景；
FP ——将其他缺陷或背景预测为缺陷目标；
Precision ——精确率；
Recall ——召回率；
Precision
F1 ——综合评价指标。
图 5-6 PR 曲线
测试时，网络的输入图像大小为 224 224 ，测试的 PR 曲线如图 5-6 所
示，污染缺陷检测的 AP 50 值为 78.01，划痕缺陷检测的 AP 50 值为 84.86，mAP 50
为 81.43。设置分数阈值为 0.62，准确率、召回率、综合评价指标的结果如
表 5-7 所示 。测试 数据 集 上的污染缺 陷目标，人工标定的缺陷数量总共有
4219 个，正确检测到的缺陷有 3384 个，检测错误的目标个数有 1337 个，精
确率为 71.68%，召回率为 80.21%， F1 为 75.70%。测试数据集上的划痕缺陷
- 47
万方数据
哈尔滨工业大学工学硕士学位论文
目标，人工标定的缺陷数量总共有 96 个，正确检测到的缺陷有 80 个，检测
错误的目标个数有 14 个，精确率为 85.11%，召回率为 83.33%，F1 为 84.21%。
处理 626 张图片所用的时间如表 5-8 所示，平均时间为 14.44 ms，处理速度
约为 43 fps。图 4-3 a)的检测结果如图 4-3 b)红色矩形框所示，该样本上的
缺陷大部分被检测出来。从图 4-3 和缺陷数量与待检测图像之比可知每张图
片缺陷数量较多。
表 5-7 测试数据集测试结果
缺陷类型
TP + FN
TP
FN
FP
精确率
召回率
污染
划痕
4219
96
3384
80
835
16
1337
14
71.68%
85.11%
80.21%
83.33%
F1
75.70%
84.21%
表 5-8 深度学习测试 626 张图片时间
1
测试次数
时间（ms） 14.47
2
14.46
3
14.49
4
14.50
5
14.39
6
14.39
图 5-7 字节流解码流程
- 48
万方数据
7
14.33
8
14.41
9
14.53
10
14.47
哈尔滨工业大学工学硕士学位论文
5.5 SECS/GEM 软件设计及实验
5.5.1 程序流程
（1）字节流解码流程
通讯双方每次接收到消息的字节流时，首先获
得 HSMS 消息长度，也就是先接收 4 个字节，再根据这 4 个字节的长度信息
获得剩余的报文。在获得内容的过程中，需要开启 T8 定时器，防止接收的
消息可能有一部分未被发送或者是阻塞在网络中。如果接收完消息，就要对
其进行解码。
图 5-8 SECS-II 解码流程
- 49
万方数据
哈尔滨工业大学工学硕士学位论文
解码先解码 HSMS 消息头，也就是先读取接收到的 10 个字节。首先要
根据 SType 的值，判断消息是控制消息还是数据消息，分别做相应的处理。
对数据消息，则需要判断连接状态是否是选择状态，非选择状态时需要回复
Reject.req。如果是选择状态，则对消息进行解码，解码主要是根据 HSMS 消
息头的 Stream 和 Function 对消息数据部分进行解码，再根据 W-Bit 判断是否
需要回复，做相应的处理。字节流解码的程序流程图如图 5-7 所示。
图 5-9 SECS-II List 解码流程
（2）SECS-II 解码流程
数据消息解码首先要解码出 SECS-II 头的格
式码部分，判断是 List 还是 Item。对 Item 的处理比较容易，首先获得格式
码和 Length，获得格式码对应类型的字节数 LFC 。Length 是 LFC 的正整数倍，
不是正整数倍报文是有问题的。如果 Length 等于 LFC ，那么直接获得 Length
个字节，就是 Item 的内容。如果格式码是数字且 Length 是 LFC 的正整数倍，
则 Item 是一个数组，数组的每个元素通过 LFC 截取，总共获得 Length/LFC 个
元素。如果是 List，因为 List 可能包含 List，处理比较麻烦。List 里面的 Item
- 50
万方数据
哈尔滨工业大学工学硕士学位论文
获取方法和上述方法相同，如果是 List 包含 List 则用递归调用程序本身获得
剩下的内容。对 SECS-II 的解码处理流程图如图 5-8 所示，对其中的 List 处
理方式如图 5-9 所示。
（3）消息发送流程
对于每一条待发送的消息，需要先进行编码成字
节流再进行发送。首先进行编码的部分是 HSMS 消息头，将其转成字节流。
然后是对消息数据进行编码，遍历消息数据的每个 Item，按顺序将其转成字
节流。对于 Item，直接按格式码、NLB、Length 和数据字节的顺序进行字节
转换；对于 List，则使用递归调用的方法逐层进行编码。最后再获得字节流
长度。发送消息首先发送 4 个字节的字节流长度，再发送编码的字节流。消
息发送流程如图 5-10 所示。
开始
否
i<N?
输入消息的
内容
将HSMS消息头部
分转成字节，压入
字节流
是
第i个Item是
List？
否
获得Item的格式码
和Length，压入字
节流
获得字节长度
根据Length获得对
应的数据，压入字
节流
发送4个字节的字
节流长度
是
对List进行编码
获得Item的个数N
i=i+1
发送字节流
i=0
结束
图 5-10 消息发送流程
5.5.2 自定义缺陷 SECS-II 消息
SEMI E5 定义了晶圆图的消息，但是没有定义缺陷的消息，于是本课题
需要自定义缺陷信息的 StreamFunction。
晶粒上的每个缺陷需要使用足够的信息来表示，本文定义每种缺陷信息
由一个缺陷类型和一个缺陷信息描述组成。缺陷的信息格式不一样，有些是
用笛卡尔坐标的点表示，有些是用圆形（圆心坐标和半径）表示，于是本文
- 51
万方数据
哈尔滨工业大学工学硕士学位论文
通过 ASCII 码描述缺陷信息描述、8 位无符号整形描述缺陷类型。其中缺陷
信息描述的定义如图 5-11 所示，缺陷类型的描述如图 5-12 所示。
FAULTTYPE
缺陷类型
0
= 无缺陷
1
= 墨点
2
= 缺角
3
= 切割不良
4
= 划痕
5
= 污染
>5
Format:50
= 其他缺陷
使用的地 方：S12F64
图 5-11 FAULTTYPE 的定义
FAULTINFO
缺陷类型
Format:20
使用的地 方：S12F64
图 5-12 FAULTINFO 的定义
通常，对于每一个晶粒，本文检测的结果只有一种缺陷类型，缺陷的数
量可能有多个。未来可能需要一个晶粒图像检测多种类型缺陷，于是消息的
格式参考 S12F11，定义 StreamFunction 为 S12F65，如图 5-13 所示。对于接
收到的发送数据，需要进行确认。本课题定义 S12F66 作为回复 S12F65 确认
的消息，S12F66 消息格式如图 5-14 所示。
对于晶粒不同的缺陷类型，定义不同的缺陷类型和缺陷信息：
（1）无缺陷。本课题定义无缺陷缺陷类型值为 0，缺陷信息为空。
（2）墨点缺陷。本课题定义墨点缺陷缺陷类型值为 1，缺陷信息为空。
（3）缺角缺陷。本课题定义缺角缺陷缺陷类型值为 2。本文使用圆形圈
出缺角缺陷，需要描述的信息是圆形，需要圆心的笛卡尔坐标和一个半径表
示。使用的缺陷信息的格式是“x,y,radius”。x 和 y 分别是圆心的 x 轴坐标和
y 坐标，radius 是圆的半径，三者都用浮点型表示。
（4）切割不良缺陷。本课题定义切割不良缺陷缺陷类型为 3，缺陷信息
为的格式是“n”，其中 n 是切割不良分离的块数。
（5）划痕缺陷。本课题定义划痕缺陷缺陷类型为 4。需要获得划痕的数
量，于是使用的缺陷信息的格式是“n”，n 是划痕的数量。
（6）污染缺陷。本课题定义污染缺陷缺陷类型为 5。需要污染区域的中
心和污染的面积，使用的缺陷信息的格式是“x,y,area”，其中 x 和 y 分别是
是中心的 x 坐标和 y 坐标，area 是污染区域的面积。
由于 S12F65 消息中的坐标是相对坐标，因此需要有平槽或 V 槽位置、
- 52
万方数据
哈尔滨工业大学工学硕士学位论文
参考点信息等设置数据。SECS-II 定义了 S12F1（晶圆图设置数据发送）和
S12F2（晶圆图设置数据确认）来设置晶圆参数数据。如果 S12F65 是多块数
据，消息前必须有 S12F5/S12F6 的预处理。因此，发送缺陷数据流程图如图
5-15 所示。
M,H<-E,reply
S12,F65 缺陷信息
描述 ：用于以 笛卡尔 坐标 格 式从设 备发送缺陷信 息数 据，如果 发送的 消息是多块的 ，
那么消息前必 须有 S12F5/S12F6 的预处理。
结构： L,3
1. <MID>
2. <IDTYP>
3. L,n
1. L,2
1. <XYPOS1 x XYPOS1 y>
2. L,n
1. L,2
1. < FAULTTYPE 1 >
2. < FAULTINFO 1 >
2. L,2
.
.
n. L,2
1. < FAULTTYPE n >
2. < FAULTINFO n >
2. L,2
.
.
n. L,2
1. <XYPOS n >
2. L,n
1. L,2
1. < FAULTTYPE 1 >
2. < FAULTINFO 1 >
2. L,2
.
.
n. L,2
1. < FAULTTYPE n >
2. < FAULTINFO n >
图 5-13 S12F65 消息格式
S,H->E
S12,F66 缺陷信息确认
描述 ：确认或 者错误
结构： <MDACK>
图 5-14 S12F66 消息格式
5.5.3 软件的设计
由于时间有限，程序只完成了 HSMS 和 SECS-II 两部分，并设计了相应
- 53
万方数据
哈尔滨工业大学工学硕士学位论文
的界面。由于现有的设备、图像处理算法实现是基于 Windows 操作系统，使
用 C++开发的，因此本课题的 SECS/GEM 软件在 Windows 环境中使用 C++
开发。集成开发环境使用的是 VS2010。
图 5-15 发送缺陷数据流程图
程序的主界面如图 5-16 所示，主要功能包括主机和设备的选择、TCP/IP
的配置、通讯的启动和停止、状态和消息的显示、消息的发送。
程序包含了主机和设备的功能，可以选择是以主机的方式工作还是以设
备的方式工作，只有在通讯开始之前选择有效，在程序运行过程中改变主机
和设备的选择则不起作用。TCP/IP 的配置有三个部分：主动和被动的选择、
IP 地址的配置、端口号的配置。不管是主机还是设备都可以设为 TCP/IP 主
动模式和 TCP/IP 被动模式，只不过在通讯的时候，需要通讯能够配对。IP
地址的配置主要是用于主动模式，被动模式可以不配置。端口号不管是主动
模式还是被动模式都是需要配置。状态和消息的显示中，状态显示主要有三
种，分别是“NOT CONNECTED”、“NOT SELECTED”、“SELECTED”。消
息的显示主要是显示发送和接收消息的具体内容。
软件在本地进行测试，相同的软件打开两次，分别配置为设备、主动模
式和主机、被动模式。再配置可以配对的 IP 地址和端口号，然后先点击配置
为被动模式软件的“start”按钮，再点击另一个软件的“start”按钮，很短
- 54
万方数据
哈尔滨工业大学工学硕士学位论文
的时间之后，两个软件的状态都变成选择状态，证明软件可以进入选择状态。
之后发送 Primary Message 后可以正确地回复 Reply Message，如图 5-16 消
息的显示区域所示。
图 5-16 软件界面
图 5-17 测试通信自定义晶圆
表 5-9 晶圆缺陷数据
晶粒位置
缺陷类型
（1，1）
无缺陷
0
—
（2，1）
墨点缺陷
1
—
（3，1）
缺角缺陷
2
11,10,22
（1，2）
切割不良缺陷
3
2
（2，2）
划痕缺陷
4
5
（3，2）
污染缺陷
5
13,61,20
5
129,7,11
缺陷类型
- 55
万方数据
缺陷信息
哈尔滨工业大学工学硕士学位论文
5.5.4 缺陷信息通信测试
为了方便测试，本文定义一个 3×2 的晶圆片，如图 5-17 所示。定义晶
圆条形码为“mld4575384”，晶圆缺陷信息具体如表 5-9 所示。
使用本文的软件发送数据，检测发送和接受到的消息格式码。经测试，
发送方发送的字节流和前述的字节流相同，接受方接受到的字节流也和上述
的字节流相同。并且软件正常解码消息。
5.6 本章小结
本章首先对模板匹配进行实验和分析，测试模板匹配的速度和精度。然
后用传统的视觉方法对晶圆的缺陷进行检测，证明检测方法的可行性。接着
测试 YOLO v3 深度学习检测的效果，并对检测效果进行分析。最后设计了通
讯协议软件，对于标准中没有定义缺陷信息的消息格式，本文定义了缺陷信
息通讯的 S12F65/S12F66 以及对应的 Data Item。设计程序处理流程、协议的
软件，通过软件进行通讯并测试，测试结果表明软件可以正常通讯。
- 56
万方数据
哈尔滨工业大学工学硕士学位论文
结
论
半导体的生产过程中容易出现各种缺陷，生产过程中需要及早发现缺陷，
及时排除缺陷原因、丢弃缺陷样本，防止缺陷晶粒继续加工，影响生产效率。
自动光学检测（AOI）是一种速度快、成本低的视觉检测技术，对产品表面
的缺陷进行检测，优点是检测速度较快、非接触。本课题对全自动晶粒镜检
机的系统进行研究，介绍实验平台的机械结构，制定相关的工艺方案、图像
处理算法、深度学习算法以及 SECS/GEM 通讯协议软件，并进行了相应的实
验分析。具体研究内容和取得的成果如下：
（1）根据晶圆的特点以及缺陷检测的需求，制定了工艺方案和通讯方案。
介绍了全自动芯粒镜检机的设计需求以及机械结构并对其进行分析。设计了
缺 陷 检测 的 工 艺 流 程 。 根 据 实 际 情 况 ， 通 讯 方 案采 用 半 导 体 设 备 通 讯协议
SECS/GEM。
（2）采用传统的机器视觉算法对晶圆图像进行处理，并对检测结果进行
分析。本文使用灰度模板匹配算法提取晶圆上的晶粒图像，通过固定阈值、
图像极大值提取和非极大值抑制相结合提取晶粒位置。本文根据晶粒的特点，
提出用梯度图像检测污染缺陷；对于划痕缺陷的分割，提出基于 Zhang-Suen
细化算法的划痕分割算法，根据 Zhang-Suen 细化算法获得骨架和交叉点，再
依据骨架拟合直线的斜率和骨架的方向对其进行连接和分割；设计墨点缺陷、
缺角缺陷和晶圆切割不良缺陷的检测算法；通过 L0 梯度最小化算法，平滑
晶粒无用的纹理。
（3）针对传统机器视觉算法的不足，提出了基于 YOLO v3 深度学习模
型检测晶圆污染和划痕缺陷。对比 YOLO v3 模型和其他深度学习模型，说明
YOLO v3 模型适合于当前的应用场景。自制训练和测试样本的缺陷数据，划
分训练和测试数据，用 K-means 聚类生成训练和测试所需要的锚框。根据样
本特点，设计训练的流程，并进行训练。
（4）开展了相关实验测试与分析，并设计了通讯协议软件。设计缺陷检
测的流程和软件的界面，对检测的时间和准确率进行测试和分析，实验表明
论文的方法可以用于检测晶圆缺陷。并通过分析 PR 曲线、精确率、召回率
和 F1 分析检测效果，实验表明，该方法可以有效提取晶圆上数量多、形状复
杂的划痕和污染缺陷。设计了 SECS/GEM 半导体设备通讯协议的程序以及界
面，自定义缺陷消息格式。根据协议的内容设计了消息处理流程、通讯协议
的软件和界面。
- 57
万方数据
哈尔滨工业大学工学硕士学位论文
虽然本课题在研究中取得了上述的研究成果，但是上述的系统仍然存在
着一些不足之处需要改进：
（1）晶圆表面污染检测中只能检测垂直或平行直线区域边界上的污染物，
对于曲线、拐角上污染物的检测有一定的难度；污染中尺寸比较大的污染物
可能会被检测成两个污染物。
（2）用传统机器视觉算法检测晶圆缺陷的晶圆样本数量少，不适合深度
学习缺陷检测，于是没有使用这种晶圆样本进行深度学习检测；由于时间有
限，未使用其他深度学习模型做对比实验。
（3）SECS/GEM 软件只是在本地调试，由于实验条件的原因，还未在
设备上调试；SECS/GEM 还有 GEM 部分未完成软件设计。
（4）不同的打光方式对缺陷检测有影响，由于条件限制，本文使用的只
是点光源一种。
- 58
万方数据
哈尔滨工业大学工学硕士学位论文
参考文献
[1] SEMI E4-0699. SEMI Equipment Communications Standard 1 Message
Transfer (SECS-I)[S]. Global Information & Control Committee，1999.
[2] SEMI E5-1000. SEMI Equipment Communications Standard 2 Message
Content (SECS-II)[S]. Global Information & Control Committee，2000.
[3] SEMI E30-1103. General Model for Communications and Control of
Manufacturing Equipment (GEM)[S]. Global Information & Control
Committee，2003.
[4] SEMI E37-0303. High-Speed SECS Message Services (HSMS) Generic
Services[S]. Global Information & Control Committee，2003.
[5] 赵佶. 中国半导体行业协会副理事长、南通富士通微电子总经理石磊：抓
住机遇窗口期缩小差距[J]. 半导体信息，2014(2)：3-4.
[6] 国家集成电路产业发展推进纲要[J]. 中国集成电路，2014，23(7)：14-16.
[7] 马磊. IC 晶圆表面缺陷检测技术研究[D]. 成都：电子科技大学，2015：
7-51.
[8] 沈晔. MOSFET 封装不良与最终测试的技术研究[D]. 上海：上海交通大学，
2010. 7-11.
[9] PT-308T[M/OL]. [2018-11-4]. http://www.sidea.com.cn/products_detail/
productId=29.html.
[10] High Power Device Tests[M/OL]. [2018-11-4]. http://www.mpi-corporation.
com/ast/applications/high-power/
[11] Lee H Y. Failure Paths of the Cu-Based Leadframe/EMC Joints[J]. Materials
Science & Engineering A，2001，311(1)：217-225.
[12] Liu X，Lu G Q. Effects of Solder Joint Shape and Height on Thermal
Fatigue Lifetime[J]. IEEE Transactions on Components and Packaging
Technologies，2003，26(2)：455-465.
[13] Martineau D，Mazeaud T，Legros M，et al. Characterization of Ageing
Failures on Power MOSFET Devices by Electron and Ion Microscopies[J].
Microelectronics Reliability，2009，49(9)：1330-1333.
[14] Monastyrskyi A，Ostapenko S，Polupan O，et al. Resonance Ultrasonic
Vibrations for in-line crack detection in silicon wafers and solar cells[C]//
Photovoltaic Specialists Conference，San Diego：IEEE，2008：1-6.
[15] Takahashi S，Miyoshi T，Takaya Y，et al. In-Process Measurement Method
for Detection and Discrimination of Silicon Wafer Surface Defects by Laser
- 59
万方数据
哈尔滨工业大学工学硕士学位论文
Scattered Defect Pattern[J]. CIRP Annals - Manufacturing Technology，1998，
47(1)：459-462.
[16] Trupke T，Bardos R A，Schubert M C，et al. Photoluminescence Imaging of
Silicon Wafers[J]. Applied Physics Letters，2006，89(4)：044107-044107-3.
[17] Sadler D J，Ahn C H. On-chip Eddy Current Sensor for Proximity Sensing
and Crack Detection[J]. Sensors and Actuators A (Physical)，2001，91(3)：
340-345.
[18] Kawano Y. Highly Sensitive Detector for On-Chip Near-Field THz
Imaging[J]. IEEE Journal of Selected Topics in Quantum Electronics，2011，
17(1)：67-78.
[19] Kawano Y ， Ishibashi K. An On-Chip Near-Field Terahertz Probe and
Detector[J]. Nature Photonics，2008，2(10)：618-621.
[20] An Y K，Ji M K，Sohn H. Laser Lock-in Thermography for Detection of
Surface-breaking Fatigue Cracks on Uncoated Steel Structures[J]. Ndt & E
International，2014，65(5)：54-63.
[21] Yang J，Hwang S，An Y K，et al. Multi-Spot Laser Lock-In Thermography
for Real-Time Imaging of Cracks in Semiconductor Chips during a
Manufacturing Process[J]. Journal of Materials Processing Technology，2016，
229：94-101.
[22] Bryant R，Hickson J，Hawthorne J. Novel Full Wafer Inspection Technology
for Non-Visual Residue Defects[J]. Solid State Phenomena，2014，134：
289-292.
[23] 严来军. 薄层材 料热 性能和 缺陷的激光诱导红外辐射检测技术研究[D].
成都：电子科技大学，2015：21-102
[24] Zhou R，Edwards C，Arbabi A，et al. Detecting 20 nm Wide Defects in Large
Area Nanopatterns using Optical Interferometric Microscopy[J]. Nano letters，
2013，13(8)：3716-3721.
[25] Zhou R，Popescu G，Goddard L L. 22 nm Node Wafer Inspection using
Diffraction Phase Microscopy and Image Post-Processing[C]//SPIE
Advanced Lithography，Washington：Nano Letters，2013：86810G-86810G-7.
[26] Tsai Z D， Perng M H. Defect Detection in Periodic Patterns using a
Multi-Band-Pass Filter[J]. Machine Vision & Applications，2013，24(3)：
551-565.
[27] Liu H，Zhou W，Kuang Q，et al. Defect Detection of IC Wafer Based on
Two-Dimension Wavelet Transform[J]. Microelectronics Journal，2010，
- 60
万方数据
哈尔滨工业大学工学硕士学位论文
41(23)：171–177
[28] Kong H，Yang J，Chen Z. Accurate and Efficient Inspection of Speckle and
Scratch Defects on Surfaces of Planar Products[J]. IEEE Transactions on
Industrial Informatics，2017，PP(99)：1-1.
[29] Tien C L，Lai Q H，Lin C S. Development of Optical Automatic Positioning
and Wafer Defect Detection System[J]. Measurement Science & Technology，
2016，27(2)：025205.
[30] Tsai D M，Chiang I Y，Tsai Y H. A Shift-Tolerant Dissimilarity Measure for
Surface Defect Detection[J]. IEEE Transactions on Industrial Informatics，
2012，8(1)：128-137.
[31] Wang C C，Jiang B C，Lin J Y，et al. Machine Vision-Based Defect
Detection in IC Images Using the Partial Information Correlation
Coefficient[J]. IEEE Transactions on Semiconductor Manufacturing，2013，
26(3)：378-384.
[32] 刘红侠，杨靓，黄巾，等. 快速图像匹配相关系数算法及实现[J]. 微电
子学与计算机，2007，24(2)：32-35.
[33] 郭庆文. 水晶晶片自动分检技术的研究[D]. 南京：南京理工大学，2012：
23-56.
[34] 郭强生，靳卫国，周庆亚. 集成电路粘片机视觉检测技术研究[J]. 电子
工业专用设备，2005，34(7)：59-65.
[35] Voulodimos A，Doulamis N，Doulamis A，et al. Deep Learning for Computer
Vision: A Brief Review[J]. Computational Intelligence and Neuroscience，
2018，(2018-2-1)，2018，2018：1-13.
[36] Guo Y，Liu Y，Oerlemans A，et al. Deep Learning for Visual Understanding:
A Review[J]. Neurocomputing，2016，187(C)：27-48.
[37] Girshick R，Donahue J，Darrell T，et al. Rich Feature Hierarchies for
Accurate Object Detection and Semantic Segmentation[J]. 2013：580-587.
[38] Ren S，He K ，Girshick R，et al. Faster R-CNN: Towards Real-Time Object
Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern
Analysis and Machine Intelligence，2015，39(6)：91-99.
[39] Lin T Y，Dollár P，Girshick R，et al. Feature Pyramid Networks for Object
Detection[C]//Computer Vision and Pattern Recognition，Hawaii：IEEE，
2016：936-944.
[40] Redmon J，Divvala S，Girshick R，et al. You Only Look Once：Unified，
Real-Time Object Detection[C]//Computer Vision and Pattern Recognition，
- 61
万方数据
哈尔滨工业大学工学硕士学位论文
Las Vegas：IEEE，2016：779-788.
[41] Redmon J，Farhadi A. YOLO9000: Better，Faster，Stronger[C]//Computer
Vision and Pattern Recognition，Honolulu：IEEE，2017：6517-6525.
[42] Redmon J，Farhadi A. YOLOv3: An Incremental Improvement[J]. 2018.
[43] Liu W ， Anguelov D ， Erhan D ， et al. SSD: Single Shot MultiBox
Detector[C]//European Conference on Computer Vision ， Amsterdam ：
Springer International Publishing，2016：21-37.
[44] Shinde S，Kothari A，Gupta V. YOLO based Human Action Recognition and
Localization[J]. Procedia Computer Science，2018，133：831-838.
[45] Wu Z，Chen X，Gao Y et at. Rapid Target Detection in High Resolution
Remote Sensing Images Using YOLO Model[J]. The International Archives
of the Photogrammetry，2018：1915-1920.
[46] Al-Masni M A，Al-Antari M A，Park J M，et al. Simultaneous Detection and
Classification of Breast Masses in Digital Mammograms via a Deep Learning
YOLO-based CAD System[J]. Computer Methods and Programs in
Biomedicine，2018，157：85-94.
[47] Simon M，Milz S，Amende K，et al. Complex-YOLO: Real-time 3D Object
Detection on Point Clouds[J]. 2018：1-14.
[48] Veenhuizen M V. Void Detection in Solder Bumps with Deep Learning[J].
Microelectronics Reliability，2018（88-90）：315-320.
[49] Nakazawa T，Kulkarni D V. Wafer Map Defect Pattern Classification and
Image Retrieval Using Convolutional Neural Network[J]. IEEE Transactions
on Semiconductor Manufacturing，2018，31（2）：309-314
[50] 张鹏程. SECS/GEM 半导体设备自动化系统设计[D]. 成都：电子科技大
学，2012：1-86.
[51] Neubeck A ， Gool L J V . Efficient Non-Maximum Suppression[C]//
International Conference on Pattern Recognition ， Washington ： IEEE
Computer Society，2006：850-855.
[52] Canny J. A Computational Approach to Edge Detection[J]. IEEE
Transactions on Pattern Analysis and Machine Intelligence，1986，PAMI-8(6)：
679-698.
[53] Wang Y，Cheng G. Application of Gradient-Based Hough Transform to the
Detection of Corrosion Pits in Optical Images[J]. Applied Surface Science，
2016，366：9-18.
[54] Sun L H，Zhao E L，Ma L，et al. An Edge Detection Method Based on
- 62
万方数据
哈尔滨工业大学工学硕士学位论文
Improved Sobel Operator[J]. Advanced Materials Research，2014，971-973.
[55] Adams R，Bischof L. Seeded region growing[J]. IEEE Transactions on
Pattern Analysis & Machine Intelligence，2002，16(6)：641-647.
[56] Zhang T Y，Suen C Y. A Fast Parallel Algorithm for Thinning Digital
Patterns[J]. Comm Acm，1984，27(3)：236-239.
[57] Xu L，Lu C，Xu Y，et al. Image Smoothing via L0 Gradient Minimization[J].
Acm Transactions on Graphics，2011，30(6)：1-12.
[58] He K ， Zhang X ， Ren S ， et al. Deep Residual Learning for Image
Recognition[J]. 2015：770-778.
- 63
万方数据
万方数据
哈尔滨工业大学工学硕士学位论文
致
谢
转眼间就来到了 2018 年，26 岁的我经历了 18 年的学习生涯，这一年可
能是我学习生涯的最后一年，此刻感慨万千，千言万语无法用这几个字的致
谢表达。回顾这 18 年的学习生涯，我认为硕士的这两年半是我人生中最重要
的时光之一。我不仅学到了基础的知识，学会如何搞科研，学习为人处世的
大道理……在此，我非常有必要对于那些帮助过我的人表示最真诚的感谢。
首先我要感谢的是胡泓教授，胡老师不仅仅是我科研上的导师，还是我
生活上、为人处世方面的导师。胡老师理论结合实际应用、求真务实的科研
精神，值得我们一辈子学习。胡老师也时刻提醒我做人的道理，教我要提高
情商。平时，胡老师孜孜不倦地教导我们要为工业界做贡献，作为报答，我
决定进入和工业界有关的民营企业，为工业界尽自己的绵薄之力。在此向胡
老师表示诚挚的感谢！
在科研的道路上，感谢张雯师姐的在晶圆表面缺陷视觉检测课题开始阶
段给予的指导。感谢许江长师兄在我遇到图像算法困难时给予我的帮助。感
谢钱荣辉师兄指导我做红外相关的研究。感谢胡老师其他学生给予的帮助。
感谢课题来源公司在我实习阶段给予我的帮助以及检测设备和晶圆的积极支
持，同时也感谢公司其他同事对我的包容和关怀。感谢王建波师兄和刘泽师
兄在我入门视觉和运动控制领域给予的指导。谢谢你们！
在平时的生活上，感谢泽才、吓乐、袁杰、志颖、育容在生活上的帮助；
感谢自行车协会的小伙伴带我锻炼身体、走遍深圳。
最后感谢我的母校哈尔滨工业大学（深圳），为我们提供良好的科研氛围，
无私地培养我们成长。
- 65
万方数据