Thomson Data Analyzer
深度洞察行业技术和竞争信息的利器
彭斌
Thomson Reuters
提纲
• Thomson Data Analyzer概况
• 数据导入与数据管理
• 数据规范/数据结构化
• 数据分析
• 生成报告
TDA简介
• Thomson Data Analyzer (TDA），是一个
具有强大分析功能的文本挖掘软件，可以对
文本数据进行多角度的数据挖掘和可视化的
全景分析。
– TDA在数据的导入，数据的清理，数据的分析，和
分析结果的报道方面都具有独特的功能。
– TDA能够帮助您从大量的专利文献或科技文献中
发现竞争情报和技术情报，为洞察科学技术的发
展趋势、发现行业出现的新兴技术、寻找合作伙
伴，确定研究战略和发展方向提供有价值的依据。
TDA数据处理分析过程
数据清理
1
数据输入/管理
2
生成报告
3
数据分析
4
TDA数据导入
MS Excel
结构化的数据
DWPI & PCI
Original Patents
不同平台
Import Engine Editor
Web of Knowledge
Delphion
STN
Aureka
Dialog
Thomson Innovation
PatentWeb
Web of Science
INSPEC
案例: 3G通信行业专利分析 (The 3rd Generation )
• 3G，全称为3rd Generation，中文含义就是指第三代数字通信。
• 1995年问世的第一代模拟制式手机（1G）只能进行语音通话；1996到1997年出
现的第二代GSM、CDMA等数字制式手机（2G）便增加了接收数据的功能，如接
受电子邮件或网页；第三代与前两代的主要区别是在传输声音和数据的速度上的
提升，它能够在全球范围内更好地实现无缝漫游，并处理图像、音乐、视频流等
多种媒体形式，提供包括网页浏览、电话会议、电子商务等多种信息服务，同时
也要考虑与已有第二代系统的良好兼容性。为了提供这种服务，无线网络必须能
够支持不同的数据传输速度，也就是说在室内、室外和行车的环境中能够分别支
持至少2Mbps（兆比特／每秒）、384kbps（千比特／每秒）以及144kbps的传输
速度。（此数值根据网络环境会发生变化)。
检索相关专利——分析数据源的获取
检索结果输出
数据导入
Novelty：描述发明的独特性
专利同族
数据管理
字段的更名
字段合并
文件的合并
记录的去重合并
数据库合并
将来自于相同数据源的数据进行合并
合并后结果
子数据库的建立
子数据库
TDA数据处理分析过程
数据清理
1
数据输入/管理
2
生成报告
3
数据分析
4
数据清理/数据结构化
高质量的数据分析结果首先取决于数据的准确性与
完整性：
– 高质量的检索
– 完整的数据导入
– 减少因数据形式上差异导致结果差别（Nokia
Corp Vs Nokia INC）
– 尽量减少词汇的拼写差异、或者将同义词合并
数据清理/数据结构化——WHY？
• 单数/复数变化 Alloy, alloys;
• 撰写格式不同： “human-computer interaction” and
“human computer interaction” ；
• 拼写错误：Microsoft Vs Micrsoft
• 美式/英式拼写：color Vs colour
• 公司名称/机构的不同书写格式的不同 : Nokia corp vs
Nokia Inc
数据清理方法
包括：
• 预设清理工具（Macros）——DWPI数据清理
• List Cleanup- 机器辅助识别并聚类相似的术语
• Thesauri- 按照规则识别并聚类类似的术语
• Groups— 在一个字段中标记类似的术语，同时可保
留条目细节
• Classifications- 手工将记录分类到用户制定的分类
中
数据清理之DWPI 自动清理
Derwent数据的自动清理工具
预制的清理数据脚本，规范数据，生成
（DWPI only)：
Assignee (cleaned); Inventor ( Cleaned);
IPC (Cleaned); Derwent Class (Cleaned)
数据清理之: List Cleanup
• TDA 可以将同义词/等同词等加以区分;
• 当使用List Cleanup工具时, 您在使用文件名后缀为 .fuz 的文件
对数据进行清理. 最常用的模糊匹配文献包括:
– 机构(Affiliation ) - 可用于公司/机构字段，忽略常用的机构
标志词 (e.g. Corp, AG, KK, Ltd)
– 作者(Author )-用于作者字段;
– 发明人(Inventor )-用于发明人字段;
– 一般(General )-可用于所有的文本字段, e.g. cleaning NLP
text fields
利用List Clean up清理数据
相同专利权人的合并 (光标拖动放在相应名称下即可)
将不应该归并的数据从组中去除（选中数据并采用右键）
将清理结果保存为叙词,用于今后数据清理
使用叙词帮助信息清理
数据清理之: Thesaurus-- 叙词表
• 您可以对一张数据列表利用叙词进行清理
• 您可以自己编辑叙词表
• 可以手工拖拽生成叙词表
• 当在Cleanup Confirm 对话框内点击 Save As
Thesaurus 或者利用Groups创建叙词后 (Menu
item Groups and Create Thesaurus using
Groups ...) 再选择已存在的叙词文件 (*.the), 您就可
以将叙词表合并到一个已有的叙词表里
Insert Major Item/Insert Sub Iterm
数据清理之Group
• 数据列表中的项目可以被标记到一个集合或者一个
组之中
• 分组功能对于减少共现矩阵的大小非常有帮助
• 将数据集合中的数据提取出来形成一个新的数据集
合并对其加以定义.
形成Top30专利权人组成(选中并用右键)
TDA数据处理分析过程
数据清理
1
数据输入/管理
2
生成报告
3
数据分析
4
总体技术发展趋势宏观分析
• 技术领域内重要的专利权人 （专利权人名称）
• 地区覆盖范围 (国家、地区）
• 创新性活动进展 – 时间序列分析 （优先权年,最近15年）
• 排名靠前的专利申请者的地区分布 （Top30）
• 排名靠前的专利申请者其专利申请活动的时间分布(最近15年)
• 技术发展趋势（时间分布、地区分布、专利权人分布）（
Manual Code、NLP words、
• 热点技术（时间分布、地区分布、专利权人分布）
• 高影响力专利
数据分析
• List：一维分析
• 矩阵分析：二维分析
• Map：最好利用分过组的数据进行分析
• 预制的分析模块 ：三维分析/分析报告
共现值高于或者低于期望的数值很多
时，将会出现一个期望值显示箭头
箭头的表示共现值与期望之差距的大小
没有箭头则表明这个数值与期望值没有太大偏差
绿色向上的箭头表示共现值大于预期
红色向下箭头表示数值低于预期.
二维矩阵分析
矩阵分析的类型：
•
同现矩阵（Co-occurrence Matrix)：寻找同时出现在两个
矩阵参数中的记录
•
自相关系数矩阵（Auto-Correlation Matrix) ：利用矩阵分
析在相同的字段中，寻找关系密切的项目。如寻找合作密切
的公司、发明人，自相关系数矩阵只适用于有多个数值的字
段。
•
互相关系数矩阵（Cross-Correlation Matrix):利用矩阵分析
在不同字段中，寻找关系密切的项目。如在领域研发相似的
专利权人
同现矩阵（Co-occurrence Matrix)
时间序列分析 （优先权年）(共现矩阵)
排名靠前的专利申请者的地区分布 （Top30）
技术发展趋势（不同公司的技术发展侧重点)
自相关系数矩阵（Auto-Correlation Matrix)
• 自相关矩阵可以显示某一数据列表中的相互关系。例如，一
个发明人的自相关矩阵可以显示某一个团体中成员的高度相
关关系。
• Correlation function is enabled when a correlation matrix is chosen.
Choose from Pearson’s r (the default), Cosine, or Max Proportional.
• Note: For Auto-Correlation Matrix, you should only use fields that have
multiple values in most of the records. For example, Inventors,
Assignees, Authors or Descriptors are good choices. Date of
Publication is not a good choice, since there is only one date of
publication for each record.
自相关矩阵结果
互相关系数矩阵（Cross-Correlation Matrix)
• 互相关系数矩阵显示某一数据表中各项目基于另外
一张数据表的相关.
• 例如，作者的基于叙词的互相关系数矩阵可以显示
有哪些团体在写作相同的作品. 再如：一个基于叙
词的机构互相关系数矩阵可以显示那些在写作相同
作品的机构.
• 创建互相关系数矩阵需选择两个字段，第一个字段
是显示为矩阵中的行与列- 通常为一个字段或者自
己定义的一小组数据，选择的第二个字段是分析行
与列中项目相关关系的基础.
互相关矩阵
Map类型：
自相关系数地图（Auto-Correlation Map)
在相同的字段中，寻找关系密切的项目。如寻找合作密
切的公司、发明人、国家。
互相关系数地图（Cross-Correlation Map)
在不同字段中，寻找关系密切的项目。如寻找哪些公司
在相同的研发领域关系密切。
Auto-Correlation Maps
• 自相关关系图显示一张数据表中各个条目的相互关
系。例如：一个作者自相关关系图可以显示在一起
写作的团队成员。一个叙词的自相关关系图将可以
因在同一记录中被使用显示它们之间的高度相关性。
• 注意: 对于自相关地图而言, 您应该选择那些在绝
大多数记录中都含有多个数据的字段.例如, 作者或
者叙词等都是好的选择. 出版日期则不应选择,因为
每条记录只有一个出版日期.
TDA数据处理分析过程
数据清理
1
数据输入/管理
2
生成报告
3
数据分析
4
Clean：Combine Author Networks（发明人聚组）
Clean：DWPI Clean Up ( DWPI Only)
Export: Fro Aureka.vpm（生成可以导入Aureka的数据文件，记录之间以***TDA***）
Export: Groups to Excel（将“组”导出到Excel)
Export: Groups to Text (将“组”导出到Text)
Export: Records to Excel （DWPI Only，将记录中预选好的字段导入Excel)
Export: Records to Word (DWPI Only,将记录中预选好的字段导入Word)
Export: Records to Word,将记录导出到Word)
Report: Basic Report (DWPI Only，专利数位居前十位的专利权属人报告）
Report: Company Comparison（2个或5个公司间的相互比较报告，相互间比较项目可以选择）
Report: Company Report（报告：公司/发明人/年代/国家/技术，分析数据只来自一个机构）
Report: IPC based Analysis ( DWPI Only,前10位专利权属人相关IPC相对Basic Patent Year的分析报告）
Report: Make Pivot Chart in Excel（生成二维矩阵分析相应的数据透视表）
Report: Plot List in Excel（将List中选定的数据复制到表格中，并自动生成柱形图）
Report: Plot Matrix In Excel（将选定的二维矩阵分析复制到表格中，并自动生成三维图、柱形图、折线图）
Report: Sum of Matrix Columns （将选定的二维矩阵分析表格中分析元素的列数与行数进行统计）
Report: Technology Report（以技术/机构/发明人为参照点考量新出现的/消失的/量最大的/独特的技术分布报告）
Report: Term By All Years（所有年份出现的词汇分析报告）
Report: Term by First Year（词汇第一次出现的年份分析报告）
Report: Term by last Year（词汇最后一次出现的年份分析报告）
Report: Top Assignees ( DWPI only，前25位专利权属人Derwent 分类/发明人分析报告）
Report: Trend Analysis (DWPI only，从技术、市场、专利权人的角度，分析Derwent分类/Derwent手工代码/IPC号
对应年份出现的新旧比例，显示技术发展趋势）
Report: Company Comparison（2个或5个公司间的相互比较报告，比较项目可以选择）
Tech Report
提纲
• Thomson Data Analyzer概况
• 数据导入与数据管理
• 数据清理/数据结构化
• 数据分析
• 生成报告
Thank You!
北京市海淀区科学院南路2号
融科资讯中心C座北楼610室
汤森路透科技与医疗集团中国办事处
彭斌
技术支持邮箱:
ts.support.china@thomsonreuters.com
Tel: 010-57601269
Fax: 01082862088