中国科学院大学人工智能学院硕士课《模式识别导论》 2022.8.30,教1-107,怀柔,北京 第1章 模式识别绪论 Introduction to Pattern Recognition 向 世 明 smxiang@nlpr.ia.ac.cn https://people.ucas.ac.cn/~xiangshiming 时空数据分析与学习课题组(STDAL) 中科院自动化研究所 模式识别国家重点实验室 助教： 文进勇(wenjinyong2019@ia.ac.cn) 第1页 内容提要 • • • • 引言及相关概念介绍 模式识别问题描述、例子 模式识别系统构建 模式识别方法分类 第2页 相关学科 • 人工智能 –模式识别 –机器学习 –数据挖掘 –计算机视觉 –自然语言处理 第3页 什么是智能？ • 自然界中的智能行为 海豚、蝙蝠回声定位 蚁群通力合作 乌鸦想办法自己喝水 鱼群利用流体动力学的行为 第4页 什么是智能？ • 人类智能行为：8个范畴 – 自然观察智能 ✓ 智能：通俗地讲是知识和 智力的总和。前者是智能 的基础，后者是指获取和 – 视觉空间智能 运用知识求解的能力。 – 肢体动作智能 ✓ 智能是不断变化发展的！ – 语言文字智能 – 逻辑数学智能 聪明 – 音乐艺术智能 灵活 – 内省自知智能 学习 – 人际交往智能 运用 第5页 不同学科对于智能的定义 神经科学：从感觉到记忆再到思维这一过 程，也成为智慧。 心理学：通常将智能和自我、心灵、意识 、精神等概念联系起来。 工程学：通常从感知、决策、计划、控制 等过程来模拟智能。 人类学：通常研究人的记忆、回忆、行为 、语言、思维、感觉等 第6页 智能的分类 • 根据表现智能的主体：可分为自然智能和人工智能。 – 现实世界中普遍存在大自然创造的各种智能体（各种动物+人类） – 自然智能：自然进化所造成的地球上各类生物的智能。其中，人 类智能是地球上最高级、最发达、最具代表性的自然智能。 – 人工智能：人类在认识与改造客观世界中，由思维过程和脑力活 动所表现出的综合能力，是人工智能研究过程中所需要的最有意 义和最具代表性的原型。 猴 猿 猿人 打猎 农耕 工业 电脑 互联网 手机 手表 眼镜 第7页 智能的分类 • 进一步，对主体进行区别，可分为四种： – 生物智能：由有机生命形态个体所表现出的智能。 – 群体智能：由众多智能个体的集合所表现出的智能。 – 系统智能：由多种有机或无机素组成的复杂系统所表现的智能。 – 人工智能：由机器、设备或软件等人造对象所表现出的智能。 第8页 人工智能 • 学术描述 Artificial intelligence (AI) is the intelligence exhibited by machines or software. … AI research is highly technical and specialized, and is deeply divided into subfields that often fail to communicate with each other. … The central problems (or goals) of AI research include reasoning, knowledge, planning, learning, natural language processing (communication), perception and the ability to move and manipulate objects. 人工＋智能: 人工智能是关于知识的学科，怎样表示、获取和应 用知识；核心目标：让机器去完成只有人能够完成的智能工作。 AI包括移动互联、智能感应、大数据、智能学习形成的综合能力 第9页 人工智能 • 研究目的：探寻智能本质，研制出具有类人智能的智能机器 • 研究内容：能够模拟、延伸和扩展人类智能的理论、方法、技术及系统 • 表现形式： − 会看： 图像识别、文字识别、环境理解 − 会听： 语音识别、说话人识别、机器翻译 − 会说： 语音合成、人机对话 − 会行动：机器人、自动驾驶汽车、无人机 − 会思考：人机对弈、定理证明、医疗诊断 − 会学习：机器学习、知识表示 本页致谢：孙哲南研究员 第10页 SOFTWARE PRECEPTION SOCIAL OPTIMIZATION • 研究内容 PLANNING COMMUNICATION REASONING 人工智能 SEARCH SIMULATION AI INTELLIGENT CYBERNETICS LOGIC SYSTEM APPROACH TECHNOLOGY SLOVING TOOLS AGENT RECOGNITION –智能agent、推理、规划、知识表达、知识获 NETWORKS LEARNING RESEARCH 取、智能搜索、感知、人工生命、复杂系统 KNOWLEDGE MIND –机器学习、模式识别、神经网络 ARTIFICIAL SCIENCE DESIGN –计算机视觉、自然语言处理、语言识别、智能 INTELLIGENCE ROBOTS 机器人 MACHINES COMPUTER ACTION 第11页 模式识别 • 学术描述 Pattern Recognition is a branch of artificial intelligence that focuses on the recognition of patterns and regularities in data. PR systems are often trained using machine learning in many cases from labeled "training" data (supervised learning), but when no labeled data are available other algorithms can be used to discover previously unknown patterns (unsupervised learning). 模式识别是人工智能的一个分支，其基本任务是从 标记样本中训练识别系统或者从无标识样本中发现模式。 第12页 模式识别 • 学术描述 使机器具有或模拟 人的模式识别能力 模式识别：“模式是指存在于时间和空间中可观测性、可 度量性和可区分性的信息；模式识别是对模式进行分析与处理， 进而实现描述、辨识、分类与解译”－谭铁牛院士在 中国科学院学部 “科学与技术前沿论坛”上的报告《生物启发的模式识别》, 2017年5月16日 模式的直观特性包括：可观察性，可区分性，相似性。 模式分类是模式识别的核心研究内容，相关问题包括模式 描述、特征提取、特征选择、聚类、分类器设计等。 取决于具体的数据对象，模式识别的研究内容还包括信号 /图像/视频理解、视觉目标分类、图像/视频检索、文本分类 等，以及面向应用的技术研究。 第13页 机器学习 • 学术描述 Machine learning is the subfield of computer science that, according to Arthur Samuel, gives “computers the ability to learn without being explicitly programmed”. 机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以 获取新的知识或技能，并重新组织已有的知识结构使之不断改善 自身的性能。“如何在经验学习中改善算法性能”、“用数据或 以往的经验，优化计算机程序的性能标准” 第14页 模式识别 • 学术描述 The terms pattern recognition, machine learning, data mining and knowledge discovery in databases are hard to separated from each other, as they largely overlap in their scope. ✓ 机器学习侧重于学习模型的构建，强调从数据中学习，并 最大化某个学习目标 ✓ 数据挖掘如何从无监督数据中发现未知的知识，特别强调 其商业应用 ✓ 模式识别强调描述、解释和可视化一个特定的模式 第15页 PR vs ML vs DM 数据挖掘 模式识别 对象描述 一切社会活动 和自然现象 图像 文本 声音 … 数据 特征提取 特征选择 聚类 分类器设计 学习理论 … 机器学习 第16页 PR vs ML vs DM 主要研究理论 算法，大部分 针对分类 机器学习：从数据/经验 中获取知识/规则/模型/ 参数的过程 ML 主要针对感 知数据，面 向应用 主要针对非 感知和混合 数据 PR DM ML/PR/DM: 基本上都在做分类 17 第17页 什么是模式识别 • • • • 信息感知 计算机模式识别 模式识别应用 相关问题和领域 第18页 感知：从环境获取信息 人和动物通过感知从周围环境获取信息。感知就是模式识别过程。 听觉11% 视觉83% 其它6%： 触嗅味觉等 第19页 计算机模式识别 • 模式识别：使计算机模仿人的感知能力，从感知数 据中提取信息（判别物体和行为、现象）的过程。 数据 获取 模式 分割 模式 识别 第20页 计算机模式识别 • 模式识别：使计算机模仿人的感知能力，从感知数 据中提取信息（判别物体和行为、现象）的过程。 人脸描述 人脸定位 人脸识别 自动化所人脸识别技术应用于北京2008奥运开闭幕式观众入场身份验证 第21页 计算机模式识别 • 模式识别：使计算机模仿人的感知能力，从感知数 据中提取信息（判别物体和行为、现象）的过程。 数据 获取 模式 定位 别类 识别 第22页 计算机模式识别 • 模式识别：使计算机模仿人的感知能力，从感知数 据中提取信息（判别物体和行为、现象）的过程。 数据 获取 模式 定位 别类 识别 第23页 模式识别的意义 通过数字化手段来获取感知数据：来源丰富、数量巨大 视觉监控 机器人感知 卫星遥感 Google眼镜 RGB-D成像 各种文档 电视 网络视频 互联网、物联网 第24页 模式识别应用 ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ 安全监控 （身份识别/行为监控/交通监控） 舆情分析 （互联网、大数据） 智能人机交互 （表情、手势、声音、符号） 机器人环境感知 （视、听、触觉） 人类健康 （医学图像、体测数据） 空间探测与环境资源监测（卫星/航空遥感图像） 工业应用 （零部件/物品分类、损伤检测） 文档数字化 （历史书籍报纸、档案、手稿、标牌等） 交通分析 （出行服务、智能管理、车牌识别） 网络搜索、信息提取和过滤 （文本、图像、视频、音频、多媒体 ） 第25页 应用实例 ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 机场客流量分布预测 商品图片分类 ✓ 音乐流行趋势预测 图像句子描述 ✓ 需求预测与仓储规划方案 目标检测与识别 ✓ 新浪微博互动量预测 人脸识别/开放条件下行人再识别 ✓ 货币基金资金流入流出预测 广告点击行为预测 ✓ 电影票房预测 微生物种类判别 ✓ 产品价格预测分析 基于运营商数据的个人征信评估 ✓ 微博传播规模和传播深度预测 基于文本内容的垃圾短信/邮件识别 ✓ 网约车出行流量预测 中文句子内容精准分析 P2P网络借贷平台的经营风险量化分析 ✓ 商品质量（红酒）评分 ✓ 搜索引擎的搜索量和股价波动 客户用电异常行为分析 ✓ 股价走势预测 自动驾驶场景中的交通标志检测 ✓ 地震预报、气象分析 市民出行公交预测 ✓ 基于用户位置信息的商业选址 大数据精准营销中用户画像 ✓ 互联网情绪指标分析 微额借款用户人品预测 ✓ 基于用户轨迹的商户精准营销 验证码识别 ✓ 推荐系统（穿衣搭配、购买） 客户流失率预测 ✓ 交通事故成因分析 汽车4S店邮件营销方案 ✓ … … … … 参考来源：http://blog.csdn.net/liulingyuan6/article/details/53648273 第26页 应用：生物特征识别 指纹 骨骼 脸相 步态 虹膜 红外成像 声纹 耳廓 指静脉 签名 视网膜 掌纹 击键 多模态融合 ✓ 有些生物特征（如虹膜、指静脉）精度高，但需客户配合。 ✓ 有些（如签名、步态）精度相对较低，不需要配合，有适 合其应用的场合。 第27页 应用：人脸识别 • 开放环境远距离多尺度人脸识别 第28页 应用：视频监控 2008年北京奥运会区域 人群监控 北京城铁13号线人物入侵检测和 跟踪，曾辅助抓获盗割电缆者 第29页 应用：可见光遥感图像地表分类 原始图像(伪彩色) SVM 图模型 第30页 应用：高光谱遥感地表物质分类 树木 屋顶 沥青 草地 NMF L1-NMF L1/2-NMF Our GT 第31页 应用：城市房屋分割 Image SegNet FCN-8s DeconvNet Ours 第32页 (By Yongcheng Liu, 2017) 典型目标：房屋、绿植、道路、车辆、其它 各类目标占比 道路: 建筑: 植物: 车辆: 其它: 0.327425 0.272017 0.284595 0.014248 0.101715 图像大小：7680077312 第33页 五 环 以 内 道 路 网 络 图 第34页 结点数：45797，道路数： 62667；包含道路宽度、经纬度等信息 应用：医学图像分析 显微组织图像癌变检测 脑功能网络分析 第35页 应用：车牌识别 S.-L. Chang, et al., Automatic license plate recognition, IEEE T-ITS, 2004. 第36页 应用：信函分拣 第37页 应用：图像识别 淘宝、京东电商购物 第38页 应用：自动驾驶 Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, et al.. End to End Learning for Self-Driving Cars, arXiv:1604.07316, 2016 来源：http://news.bitauto.com/hao/wenzhang/720984 第39页 应用：语音识别 以文本搜图 以图搜图 以语音搜图 2016.02.14截图 第40页 深度学习：城市目标语义分割 ◼ 城市典型目标语义分割 ✓ 多信息论多尺度平行深层特征融合模型，用于对城市房 屋、车辆、道路、绿化、背景进行语义分割 ✓ H. Wang, et al.. Gated Convolutional Neural Network for Semantic Segmentation in HighResolution Images, Remote Sensing, 9(5), 446:1-446:15 , 2017 ✓ Y. Liu, et al.. Context-Aware cascade Network for Semnatic Labelling in VHR image, ICIP, 575579, 2017 第41页 深度学习：城市目标语义分割 ISPRS ◼ 城市典型目标语义分割 2017年5月：在近80个算法中GSN排名第二，CASIA排名第一 http://www2.isprs.org/vaihingen-2d-semantic-labeling-contest.html 第42页 深度学习：车辆目标检测 城市遥感高分图像车辆目标检测 第43页 深度学习：车辆目标检测 （2016年6月17日上海某路口） ✓ J. Chang, Lingfeng Wang, G. Meng, Shiming Xiang, and Chunhong Pan. Vision- Based Occlusion Handling and Vehicle Classification for Traffic Surveillance Systems, IEEE Intelligent Transportation Systems Magazine, 2017 第44页 深度学习：行人再识别 Kun Yuan, Qian Zhang, Chang Huang, Shiming Xiang, Chunhong Pan. SafeNet: Scale-normalization and 第45页 Anchor-based Feature Extraction Network for Person Re-identification. IJCAI, 2018. 应用：图像句子描述 A busy city street filled with lots of traffic A busy city street filled with lots of traffic A large white airplane sitting on top of an airport tratmac A subway train with its doors open at a station A close up of a stree sign with a sky background A man on a motorcycle with a herd of sheep 第46页 应用：图片艺术风格化 图片艺术风格化 简笔画变油画 来源：https://github.com/alexjc/neural-doodle 第47页 深度学习：飞机分类识别 类型 运输机1 战斗机 运输机2 预警机 轰炸机1 轰炸机2 平均 mAP(%) 90.4 91.9 89.1 98.7 90.3 90.9 91.9 (本课题组工作) 飞机姿态识别精度为98.6% 第48页 深度学习：舰船分类识别 (本课题组工作) 第49页 应用：车辆检测 机动车检测 行人与摩托车检测 （2017年10月11日广西南宁某路口） 大范围场景（天）→ 局部场景（空）→ 具体目标（地） (本课题组工作) 第50页 (本课题组工作) 第51页 天空：车辆目标检测 局部检测结果 共检测出474088辆车 Goolge地图上北京市 四环以内所有三级以 上（双向）道路内的 车辆全部检测 道路车辆检测与记数 （天-空-地） (本课题组工作) 第52页 深度学习：去云 第53页 深度学习：生成新图像 The bird has a yellow breast with grey features and a small beak. This is a large white bird with black wings and a red head. A small bird with a black head and wings and features grey wings. This bird has a white breast, brown and white coloring on its head and wings, and a thin pointy beak. A small bird with white base and black stripes throughout its belly, head, and feathers. A small sized bird that has a cream belly and a short pointed bill. This bird is completely red. This bird is completely white. This is a yellow bird. The wings are bright blue. 第54页 应用：精细目标分割 (By Yongchao Gong, Pattern Recognition, 2016) 第55页 图像分析 第56页 深度学习：智能驾驶 • 自动驾驶 Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, et al.. End to End Learning for Self-Driving Cars, arXiv:1604.07316, 2016 来源：http://news.bitauto.com/hao/wenzhang/720984 第57页 应用：图像句子描述 by Xinyu Xiao in our group, Aug.20, 2017 第58页 应用：图片艺术风格化 图片艺术风格化 简笔画变油画 来源：https://github.com/alexjc/neural-doodle 第59页 应用：自动驾驶 Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, et al.. End to End Learning for Self-Driving Cars, arXiv:1604.07316, 2016 来源：http://news.bitauto.com/hao/wenzhang/720984 第60页 应用：朗读课文 注：本图取自网络（通过搜索） 第61页 应用：写曲子 第62页 应用：自然语言处理 • 语言信息处理：“读、说、听、想、译” • 大数据时代的应用需求： – 知识自动抽取和问答、敏感内容监测、多语种语言自动翻译 • 核心科学问题 – “语义”如何表示和学习 – 如何克服语料资源稀缺(如小语种) 第63页 ✓ 图卷积神经网络在出租车流量预测上的应用 四环以内出租车预测分布（未来715分钟） (本课题组工作) 第64页 拥堵等级预报 ◼ 时空图卷积：多分辨时间特征+全局关联空间特征 (本课题组工作) 第65页 2016年3月9日，李世石在比赛开始前和DeepMind的创始人哈萨比斯握手，樊麾 （上后排中）担任比赛的数子裁判(第一局) 第66页 第1局 第2局 第3局 第5局 李 执白 胜 第67页 AlphaZero 图片：新智元版权 AlphaMaster AlphaGo Alpha-Fan 2017 年 5 月 , 人 类 棋 手 “ 群 殴”AlphaGo的大戏开始上演。由时越、 芈昱廷、唐韦星、陈耀烨和周睿羊5位 世界冠军组成中国围棋“天团”，仍 没能抵挡住AlphaGo 。 第68页 模式识别相关问题 • 模式描述与分类 – 特征提取/选择、模式分类、聚类、机器学习 • 数据处理 – 视频、图像、信号处理等 • 模式分割 – 检测定位、背景分离、模式-模式分离 • 运动分析 – 目标跟踪、运动模式描述 • 模式识别应用研究 – 针对具体应用的方法与系统 第69页 模式分类 • Topics in pattern classification 无监督学习 监督学习 聚类分析 分类器构造 特征提取 特征选择 概率密度估计 …… 判别分析 特征选择 距离度量学习 …… 模式分类 半监督分类、半监督聚类、距离度量学习、弱监督学习 第70页 模式识别形式化 • 模式和模式识别 • 模式和分类器表示 • 一个例子 第71页 基本概念 • 模式识别：确定一个样本的类别属性的过程，即把 某一个样本划归为多个类型中的某一个。 第72页 基本概念 • 模式识别：确定一个样本的类别属性的过程，即把某一个 样本划归为多个类型中的某一个。 • 样本(sample)：一个具体的研究对象，如患者、字符（印刷 体、手写汉字）、车牌、一幅图像 第73页 基本概念 • 模式 (pattern)：对研究对像（客体）的一种抽象化描述， 是对客体的统称。 • 鱼获分类：今天我们一共捕获了30条鱼。分拣师傅将它 们分成了两类，其中有10条“三文鱼” ，20条“鲈鱼”。 通过师傅的展示，我们人脑在认知的过程形成了关于 “三文鱼”和“鲈鱼”的一种抽象的“模式” 。 – 明天,在师傅没有在场的情况下我们也能将“三文鱼”和“鲈鱼” 分拣出来。 • 数字“2”可以有各种写法，但都属于同一类别。人脑 的这种思维能力就构成了“模式”的概念。 – 更为重要的是，即使对于某种写法的“2”，以前虽未见过，但 我们也能把它分到“2”所属的这一类别。 第74页 基本概念 • 一个样本必须量化或结构化才能被计算机识别。这就是 模式的特征。 • 特征(feature)：能描述模式特征的量。 三文鱼和鲈鱼：长度和亮度 第75页 基本概念 • 一个模式必须要做特征提取才能被计算机识别。 0 2 3 3 5 6 1 2 3 0 1 4 3 5 1 1 0 5 3 2 0 1 4 5 2 1 6 4 1 1 2 0 1 3 0 3 0 1 3 2 1 1 1 2 2 1 0 2 0 2 2 0 2 0 1 2 0 5 0 2 1 4 0 0 3 2 4 1 0 4 3 0 1 1 1 2 3 0 3 0 0 (0, 2, 3, 3, 5, 6, … …, 3,0,0) 第76页 模式和模式识别 • 一个模式必须要做特征提取才能被计算机识别。 声音识别 第77页 基本概念 • 一个模式必须要做特征提取才能被计算机识别。 语音信号分帧：将一段语音信号，划分成若干帧 • 帧信号要加窗函数，使得帧两端信号平滑过渡到零 • 帧与帧之间有重叠（帧移），以免帧边缘处信号因加窗 弱化而丢失 第78页 模式和模式识别 • 模式描述：将模式转化为向量表示 人脸描述 人脸定位 人脸识别 自动化所人脸识别技术应用于北京2008奥运开闭幕式观众入场身份验证 第79页 模式和模式识别 • 模式描述：将模式转化为向量表示 文字识别 第80页 模式和模式识别 • 模式描述：将模式转化为向量表示 声音识别 第81页 模式和模式识别 • 模式的两个层次 – 样本(Sample, instance, example) – 类别(Class, category) 例如：100个样本、10个类别 ▪ 模式识别核心技术：模式分类 - 检测：2-class (binary) - 判别：2-class, multi-class - 分类器设计：机器学习 - 相关问题：特征提取、特征选择 第82页 模式表示：两个方面 特征空间 • 样本表示：特征 – 特征度量：x=[x1, x2, …, xd]T – 问题：特征提取、特征选择 • 分类器表示 – 类别模型：Mi = M(x, θi) – 判别函数：yi = f (x, wi) (Discriminant function) • 识别（分类） – 距离度量（相似度）：min d ( x, M i ) i – 决策区域： Ri = arg max f (x, w i ) i R2 R1 R3 第83页 一个例子：鱼分拣 • 两类鱼 – Sea bass（黑鲈） – Salmon（三文鱼） (Pattern Classification, Duda, 2001) 第84页 • 特征1：长度 注意2类可分性 特征很重要！ 第85页 • 特征2：亮度 ✓ 亮度比长度 更好 ✓ 但应该还有 更好的特征 第86页 二维特征：线性分类器 • 多特征联合描述 多个特征组合比 单个特征具有更 好的可分性 第87页 二维特征：非线性分类器 二次分类器 的决策边界 为平滑曲面 第88页 二维特征：最近邻分类器 ✓ 复杂分类 器，划分 能力更强 ✓ 但计算复 杂，且可 能产生过 拟合 第89页 模式识别系统流程 • • • • 一个例子 完整识别流程 识别与训练的关系 分类器训练过程 第90页 一个例子：文档分析系统 Data acquisition Layout analysis (Scanner, camera, digital pen) Character segmentation Recognition (pre-processing, feature extraction, classification) 字符识别 Post-processing 中国对外经货部 中国对外经贸部 第91页 Physical environment 完整识别流程 Data acquisition Segmentation Pre-processing Feature extraction Features Classification Model 分类器模型/参数 Post-processing 第92页 Physical environment 识别-训练过程 Data acquisition Segmentation Training data Pre-processing Pre-processing Feature extraction Feature extraction/selection Features Features Classification Post-processing Model Model learning 训练/测试过程中的模式预处理特征提取必须完全一致 第93页 分类器训练过程 训练数据：包括 特征表示和类别 标号 Training data (xi, yi), i =1,…, N Classifier structure gi(x,θi), i=1,…,M 参数估计 (损失最小化或 似然最大化) ✓ 选择分类器类型 ✓ 确定假设参数、 每类的分类模型 或判别函数 Loss function l(x,y,Θ) Parameter values Θ 输出 参数值 1 N min E = l (xi , yi , ) N i =1 设计损失函数， 或者似然函数 第94页 分类器训练与测试 训练和测试过程分开 即需要在不同的样本 集上进行 （带类别标签） 样本集 训练集 模型选择 测试集 确定分类器 结构 分类器参数估计、 分类器学习 测试 第95页 模式识别方法分类 • 按特征表示分类 • 按学习方法分类 • 生成/判别模型 第96页 按模式/模型表示方式分类 • Statistical: 特征矢量 – Parametric (Gaussian) – Non-parametric (Parzen window, k-NN) – Semi-parametric (GM) – Neural network – Logistic regression – Decision tree – Kernel (SVM) – Ensemble (Boosting) • Structural: 句法、结构 – – – – – – – Syntactic parsing String matching, tree Graph matching Hidden Markov model (HMM) Markov random field (MRF) Structured prediction …… Hybrid Statistical-Structural: Statistical primitive/relationship Attributed graphs, HMM and MRF/CRF are instances of hybrid models 第97页 为什么需要结构方法 • Problems Un-Solvable by Statistical Methods – Need to explore the structure (e.g., strokes and radicals of a character) P P X T T T T L – Patterns of variable-size (e.g., character string) • Holistic classification: huge number of classes (e.g., 106 classes for 6-digit zipcodes) – Simultaneous classification of multiple related parts/objects • Individual classification followed by contextual post-processing: ambiguity of segmentation, insufficient utilization of context 第98页 学习方法分类 • 监督(Supervised)学习 – 训练样本有类别标号 • 无监督(Unsupervised)学习 – 训练样本无类别标号，得到数据结构表示或分布 • 半监督(Semi-supervised)学习 – 训练样本一部分有类别标号，一部分没有 • Reinforcement learning – 学习过程中给出奖惩信号 • 例如，Deep Mind（被Google收购）基于深度神经网 络强化学习的玩视频游戏程序 • Domain Adaptation – 测试样本分布发生变化，分类器参数自适应 第99页 生成/判别模型 • 生成模型：表示各个类别内部结构或特征分布 • 判别模型：表示不同类别之间的区别，一般为判别函数 或边界函数 分类器模型 (生成/判别) Generative (descriptive) model Discriminative (boundary) model 学习准则 Generative learning Discriminative learning • 生成学习：得到每个类别的结构描述或分布函数，不同类别分别学习 • 判别学习：得到判别函数或边界函数的参数，所有类别样本同时学习 第100页 x1 • Generative Models – Template (prototype)-based classifier – Parametric probability density (Gaussian, GM) p(x | C) = f (x, ) – Bayesian network (directed graph) x2 x3 x4 x5 x6 x7 n － p(x) = p( xi | pai ) 概率密度函数树近似 i =1 – Hidden Markov model (HMM) 特征矢量序列 密度函数近似 p(O | ) = P(O | Q, ) P(Q | ) O1 O2 OT q2 qT Q = q bq (O1 )aq q bq (O2 ) 1 1 1 2 2 q1 , q2 , , qT aqT −1qT bqT (OT ) q1 – Undirected graphs • Attributed relational graph (ARG) • Markov random field (MRF) 第101页 • Discriminative Models u1 – Artificial neural networks (ANN): discriminant function regardless of probability distribution 神经网络输出 近似后验概率 yi (x) := P(i | x) – Support vector machine (SVM): hyperplane classifier (2-class) • Decision boundary Input signals H2 w x + b 0 – Boosting: weighted combination of multi-discriminators (2-class) Boosting判别函数是 多个分类器加权和 hidden units output units w H1 T F (x) = t ht (x) t =1 – Conditional random field (CRF) • Labeling by minimizing energy function, without assumption of conditional independence margin 第102页 本课程内容体系 11章，13次授课 内容 课时 授课老师 73h 向世明 63h 樊彬 绪论 贝叶斯决策理论 概率密度参数估计 非参数法 线性分类器设计 神经网络和深度学习 聚类分析 支撑向量机 特征提取与特征选择 决策树 模式识别前沿概述 考试 第103页 参考资料 • 教材 – Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification, 2nd Edition, John Wiley, 2001.（国内）模式分类，英文影印版 – 张学工. 模式识别，清华大学出版社（第三版）, 2012, 北京 • 主要参考书和文献 – Andrew Webb, Statistical Pattern Recognition, 3rd Edition, John Wiley, 2011. – Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006. – Yoshua Bengio, Ian J. Goodfellow, Aaron Courville, Deep Learning, http://www.iro.umontreal.ca/~bengioy/dlbook, 2015 (Book in preparation) – Y. LeCun, L. Bottou, Y. Bengio, P. Haffner. Gradient-Based Learning Applied to Document Recognition, Proceedings of IEEE, Vol. 86, No. 11, pp. 22782324, 1998. – A. Y. Ng, M. Jordan, and Y. Weiss. On spectral clustering: Analysis and an algorithm, In: Advances in Neural Information Processing Systems, 2001, pp. 849-856. – 李航著，统计学习方法，清华大学出版社，2012年3月出版 – Christopher J.C. Burges, A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining and Knowledge Discovery, 2(2): 1-43, 1998. – Ian Goodfellow, Yoshua Bengio, and Aaron Courville: Deep learning, The MIT Press, 2016 第104页 下次内容 • 贝叶斯决策理论 –模式统计表示 –最小风险决策 –判别函数和决策面 –高斯概率密度估计 –高斯密度下的判别函数 –错误率分析 第105页 致谢 本PPT部分内容源于 模式识别国家重点实验室刘成林老师 人工智能学院研究生核心课程《模式识别》第一章之内容 第106页 教科书 • 教材 – 周志华. 机器学习. 清华大学出版社，2016，北京 – 李航. 统计学习方法.清华大学出版社，2012，北京 Thank All of You! • 主要参考书和文献 – Ethem Alpaydın，Introduction to Machine Learning，The MIT Press，London, UK, 2009 – A. Y. Ng, M. Jordan, and Y. Weiss. On spectral clustering: Analysis and an algorithm, In: Advances in Neural Information Processing Systems, 2001, pp. 849-856. – Xiaofei He, Partha Niyogi: Locality Preserving Projections. pp. 153-160, NIPS 2003. – Feiping Nie, Xiaoqian Wang, Heng Huang: Clustering and projected clustering with adaptive neighbors. KDD 2014: 977-986 – Yoshua Bengio, Ian J. Goodfellow, Aaron Courville, Deep Learning, http://www.iro.umontreal.ca/~bengioy/dlbook, 2015 – Shiming http://www.escience.cn/people/smxiang Xiang, et al.. Learning a Mahalanobis distance metric for data clustering and classification. Pattern Recognition, 41(12), pp.3600 - 3612, 2008 时空数据分析与学习课题组(STDAL) – Shiming Xiang, et al.. Nonlinear Dimensionality Reduction with Local Spline Embedding. IEEE Transactions on Knowledge and Data Engineering, vol. 21, no. 9, pp.1285-1298, 2009 (Questions?) 向世明 smxiang@nlpr.ia.ac.cn 中科院自动化研究所 模式识别国家重点实验室 第107页