IBM大数据和分析
陈景浩
IBM 大中华区 软件部 业务发展总经理
alexc@cn.ibm.com
主要议题
 IBM对大数据的理解
 大数据平台战略
 大数据平台全球的案例
 结语
我们已经进入了一个崭新的计算时代
Volume 巨量
Velocity爆量
Variety多样
Veracity*多变
Data at rest
Data in motion
Data in many
forms
Data in doubt
Terabytes to
exabytes of existing
data to process
Streaming data,
milliseconds to
seconds to respond
Structured,
unstructured, text,
multimedia
Uncertainty due to
data inconsistency
& incompleteness,
ambiguities, latency,
deception, model
approximations
* Truthfulness, accuracy or precision, correctness
3
突破性技术因素的推动力
Cloud Computing
Mobile
Social Media
Internet of Things
全球大数据市场最新动态
Realizing a competitive
advantage
Big data activities
Big data objectives
2012
63%
2011
58%
2010
37%
70%
Customer-centric outcomes
increase
Operational optimization
Employee
collaboration
Risk / financial management
Nearly two out of three
respondents reports realizing a
competitive advantage from
information and analytics
Three out of four organizations
have big data activities underway;
and one in four are either in pilot
or production
New business model
Improving customer experience by
better understanding behaviors
drives almost half of all active big
data efforts followed by Operational
Optimization
IBM Institute for Business Value and the University of Oxford Saïd Business School
The requirement is to analyze many sources of data
Source: Forrester Research, June 2011 Global Big Data Online Survey
6
信息的使用关乎企业发展的命脉…
数量增长
每一天都会产生超过 15 PB 的新信
息。数据量预计每 2 年就会翻一番。
多样性增长
需要作出“更明智的”决策
80% 的新数据增长源自非关系数据
类型和非传统数据类型，如电子邮
件、文档、RFID 源、多媒体等
70% 的高管认为，未及时作出决策以
及所作出的决策欠佳对其公司的业绩
产生了不利影响。
完整的信息分析生态系统
交易系统
业务分析应用
分析
内容
整合
大数据
主数据
管理
多维分析
转换和清洗
流计算
结构化数据
外部数
据源
数据仓库
非结构化数据
时间序列
流数据
管控
质量
生命周期
数据安全
变信息为企业洞察力
数据标准
大数据分析的广泛应用
Banking
•
Insurance
Optimizing Offers and
Cross-sell
•
•
Customer Service and Call
Center Efficiency
•
Catastrophe Modeling
•
Fraud & Abuse
•
Fraud Detection &
Investigation
•
Credit & Counterparty Risk
•
•
• Merchandise
Optimization
• Dynamic Pricing
Producer Performance
Analytics
•
Data Warehouse
Optimization
•
Actionable Customer
Intelligence
Smart Meter Analytics
•
Distribution Load
Forecasting/Schedulin
g
• Location Based
Services
•
Condition Based
Maintenance
•
Create & Target
Customer Offerings
Consumer
Products
•
Business process
transformation
•
Audience & Marketing
Optimization
•
Multi-Channel Enablement
•
Digital commerce
optimization
Government
Healthcare
• Customer Analytics
& Loyalty
Marketing
• Shelf Availability
• Civilian Services
• Promotional Spend
Optimization
• Defense &
Intelligence
• Measure & Act on
Population Health
Outcomes
• Predictive
Maintenance
Analytics
• Merchandising
Compliance
• Tax & Treasury
Services
• Engage Consumers
in their Healthcare
• Promotion
Exceptions
& Alerts
Aerospace &
Defense
Chemical &
Petroleum
Automotive
Advanced Condition
Monitoring
•
• Network Analytics
Analytics Sandbox
• Capacity & Pricing
Optimization
•
• Pro-active Call
Center
Travel &
Transport
Retail
• Actionable
Customer Insight
360˚ View of Domain
or Subject
Media &
Entertainment
Energy &
Utilities
Telco
•
•
•
Operational Surveillance,
Analysis & Optimization
Data Warehouse
Consolidation, Integration &
Augmentation
Big Data Exploration for
Interdisciplinary Collaboration
Life Sciences
Electronics
•
Uniform Information Access
Platform
•
Customer/ Channel
Analytics
•
Data Warehouse
Optimization
•
Advanced Condition
Monitoring
•
Airliner Certification
Platform
•
Advanced Condition
Monitoring (ACM)
•
Increase visibility into drug
safety and effectiveness
优化交通案例
方案背景
政府如何最大程度上利用现有路
况资源，减少交通瓶颈，缓解交通
压力，是优化交通的重要方面；
现有的交通预测能力，通常会具有
较大的滞后性，导致交通路线的指引
效果大打折扣；
有限的道
路资源
不断增长
的车流量
缓解供需
矛盾，更
有效的交
通预测
方案描述
斯德哥尔摩交通实时预测系统采集了丰富的
数据源，提供实时、有效的交通预测能力
 数据源
– 车载GPS
– 线圈传感器
• 交通速度
• 流动交通密度
– TV 隧道视频
– 实时天气数据
– 警察
– 工建
10
 预测结果
 通过SMS提供交通的实
时预测结果；
 频度可调整：一刻钟，
半小时，1小时…
 很好的缓解了交通压力
大数据电信的案例
Our understanding of AT&T’s Big Data Mission
Common capability driving diverse value creation opportunities
AT&T
Big Data Hub
Support AT&T Business Market Opportunities
Comprehensive
Capabilities
Business Model
Expansion
Industries
Federated
Discovery and
Navigation
Hadoop File
System
Data Warehousing
Stream Computing
Text Analytics
Engine
Integration, Data
Quality, Security,
Life
Cycle
1
Management,
MDM
1
Deliver New
Products & Services
Innovative services
AT&T Business
Solutions
Home Solutions
Mobility
•Healthcare Monitoring
•Location Based Services
•Government and 911
•Alarm Monitoring and
Security
•Connected Car
•Enterprise
•Up-sell / Cross sell
•Fleet tracking and
performance monitoring
•Targeted Ad insertion
•Up-sell / Cross-sell
• Optimize Video Network
Traffic
•Targeted Advertising
•Intelligent Cities - Traffic
•Healthcare Monitoring
•Healthcare Monitoring
Innovative products
Travel
& Transport
Insurance Automotive
Connected Car
Mobile Banking
Healthcare
Retail Home Monitoring
•Mobile Banking
Industry Reach / Operational Knowledge
Shared Services Capability
AT&T Analytics Center of Excellence
Comprehensive set of Capabilities
AT&T Big Data Analytics Platform
大数据生产设备管理的案例 -Analytics is a key enabler in maximizing
asset productivity and process efficiency
3x
Organizations that lead in analytics
outperform those that are just
beginning to adopt analytics by 3
times
Best-in-Class companies use the data they collect
more effectively, and turn that data into
actionable intelligence
83%
83 percent of CIOs cited
analytics as the primary path
to competitiveness
Best-in-Class companies leverage all
technology enablers to enhance
outcomes
Source: Aberdeen Group. Asset Management: Using Analytics to Drive Predictive
Maintenance. Mar 2013.
Asset Performance
 Improve quality and reduce failures
and outages
 Optimize service and support
Source: IBM Institute for Business Value and MIT Sloan Management Review, “Analytics:
The New Path to Value”
12
Process Integration
 Optimize operations and
maintenance
 Enhance manufacturing and
product quality
Source: IBM CIO Study, "The Essential CIO"
IBM Predictive Maintenance and Quality reduces operational costs,
improves asset productivity and increases process efficiency
大数据分析的技术能实现最生产管理高级别的
PMQ -预测性维修和质量
非计划性维修 计划性维修
预防性维修
预测性维修
•
Monitor, maintain and optimize assets for better availability,
utilization and performance
•
Predict asset failure to optimize quality and supply chain processes
•
Remove guesswork from the decision-making process
Combined with out-of-box models, dashboards, reports and source connectors
13
大数据分析优化的技术让
建立企业级的气象站
成为可能
•临近灾害预警检验
•月降水预报检验
•短期降水预报检验
雨量计验证区域
锦屏坝区（3站）；
锦屏流域（15站）；
雅砻江中下游（90站）
14
IBM在高精度数值气象领域关键性能
 常规天气预报能力
•
•
•
•
•
•
预测空间分辨率：可达1公里
风速预报平均误差：小于0.5米/秒
温度预报平均误差：小于0.5度
风功率次日预报准确度：超过92% （国内同类型厂商提
供预报平均约为50-75%）
风功率超短期预准确度：超过94% （国内同类型厂商提
供预报平均约为50-78%）
滚动气象6小时预报计算时间：小于30分钟
 灾害天气预报能力
•
•
•
•
•
•
*相关指标数据基于国际通用的评估方法与定义
流域面雨量预报准确度可达80%（包括长江中下
游梅雨期和珠江流域华南前汛期）
强风预报相关性评分：超过90%；
雷暴雨团预报有效时间：3小时
雷击预报相关性评分：超过80%；
台风路径48h预报误差：小于50公里；
最大台风风圈强度综合评分：超过90%
- 以上项目结果来自与降水预测系统同一气象模型
- 各地区预报准确度差异取决于当地气象环境特征
和观测数据条件。
公共安全案例
Sensors
Imagery
optical, acoustic, thermal,
chemical, etc.
New
Capability
•
Continuous ingest of relevant
structured and unstructured data
•
Holistic entity or activity-centric
picture across multiple data
sources and types of intelligence
Entities
& Relationships
Satellite, aerial,
camera
数据源
快速、准确的集成和分析各种
渠道的多样化信息，包括非法
停车，呼救电话，目击者证词
和犯罪调查等
方案描述
- 通过事先防范，识别潜在犯
罪地点，降低犯罪率，提升
公共安全
- 更有效地组织和调配资源
Geospatial
Location data
ersons of interest, targets,
watch lists
方案结果
重大案件犯罪率降低了
30%，暴力犯罪降低了15%
Social Media
Search, blogs, tweets, text
messages
亚洲卫生局减少了诊断错误
利用的功能：
Hadoop 系统
• 远程医疗成像诊断服务，以改善
农村医疗状况
• 自动筛分和分析大型影像集合，
寻找异常和疾病
• 让放射学者和病理学者有可能分
析：
数千个患者影像
“超过 80％ 的医疗
数据是医疗影像”
图片：
Boaz Yiftach
17
预期的显著改进：
• 减少诊断错误
• 利用医生对类似案例的处理经验
改进结果
亚洲的电信运营商降低了
计费成本并提高了客户满
意度
功能：
流计算
分析加速器
实时调解和分析每天
数据处理时间从
60 亿 CDR
12 小时缩短为 1 秒
硬件成本降低至原先的 1/8
主动地解决会影响顾客满意度的问题（如掉
话）。
18
结语: 面向业务的大数据以关键业务为起点，为未来需求实现点到面的扩展
 大数据不是单纯的技术，而
是一种如何利用数据资源的
商业策略
 如何开始大数据建设至关重
要
 在不同的建设阶段，要借助
于大数据平台的产品能力来
加速实现
 在早期的基础建设层面要充
分考虑兼容将来的扩展需求
，逐步演进大数据平台