Exadata 智能技术

advertisement
Oracle Exadata 介绍及成功案例分享
梁志宇 高级技术顾问
全球 ISV & OEM 联盟事业部
kelvin.liang@oracle.com
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
我们会如此去购买汽车吗?
同样,我们也不会如此去采购IT系统
3
Oracle ExaStacks
软件,硬件,完美整合.
构建21世纪数据中心
Exadata 数据库一体机硬件架构
Scaleable Grid of industry standard servers for Compute and Storage
• Eliminates long-standing tradeoff between Scalability, Availability, Cost
Database Grid
• 8 Dual-processor x64
database servers
Intelligent Storage Grid
• 14 High-performance low-cost
storage servers
OR
• 2 Eight-processor x64
database servers
• 100 TB High Performance disk,
or
336 TB High Capacity disk
InfiniBand Network
• 5.3 TB PCI Flash
• Redundant 40Gb/s switches
• Unified server & storage
network
• Data mirrored across storage
servers
Copyright © 2010, Oracle Corporation and/or its affiliates
– 5–
Exadata数据库一体机全线系列
适合在线业务处理, 数据仓库和混合类型业务负载
X2-2 Full Rack
– 6–
X2-2 Half Rack
X2-2 Quarter Rack
X2-8 Full Rack
Exadata 一体机 X2-2 全配
预配置并提供极高性能
• 8 x64 Dual-procesor Database Servers (Sun Fire X4170 M2)
• 96 cores (12 per server)
• 768 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 16 x 10GbE ports (2 per server)
• 14 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Add more racks for additional scalability
– 7–
Exadata 一体机 X2-2 半配
预配置并提供极高性能
• 4 x64 Dual-procesor Database Servers (Sun Fire X4170
M2)
• 48 cores (12 per server)
• 384 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 8 x 10GbE ports (2 per server)
• 7 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Can Upgrade to a Full Rack
– 8–
Exadata 一体机 X2-2 1/4配
预配置并提供极高性能
• 2 x64 Dual-procesor Database Servers (Sun Fire X4170 M2)
• 24 cores (12 per server)
• 192 GB memory (96GB per server)
• 10 GigE connectivity to Data Center
• 4 x 10GbE ports (2 per server)
• 3 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 2 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Keyboard, Video, Mouse (KVM) hardware
• Redundant Power Distributions Units (PDUs)
Can Upgrade to an Half Rack
– 9–
Exadata 一体机 X2-8 满配
提供极高性能,适合大型OLTP, DW和混合类型业务处理
• 2 x64 Eight-processor Database servers (Sun Fire 4800)
• High Core, High Memory Database Servers
• 128 CPU cores (64 per server)
• 2 TB memory (1 TB per server)
• 10 GigE connectivity to Data Center
• 16 x 10GbE ports (8 per server)
• 14 Exadata Storage Servers X2-2
• All with High Performance 600GB SAS disks
OR
• All with High Capacity 2 TB SAS disks
• 3 Sun Datacenter InfiniBand Switch 36
• 36-port Managed QDR (40Gb/s) switch
• 1 “Admin” Cisco Ethernet switch
• Redundant Power Distributions Units (PDUs)
Add more racks for additional scalability
Copyright © 2010 Oracle Corporation and/or its affiliates
– 10 –
6
6
Exadata 数据库一体机
软件组成
Oracle Database
必须购买
Management
Packs + RAT
Exadata Storage
Server Software
Data Mining
OLAP
Partitioning*
Real Application
Clusters**
推荐
工具及应用
Advanced
Compression
Oracle ERP &
CRM
Advanced
Security
Active Data
Guard
Oracle
Industry
Solutions
Oracle
Business
Intelligence
Oracle Data
Integrator &
GoldenGate
Complete, Open,
and Integrated
Solutions
* Required for Data Warehousing
** Required for Multi-Instance Database(s)
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
6
Traditional Query Problem
What Were
Yesterday’s
Sales?
Select sum(sales)
where salesdate=
‘22-Jan-2010’…
Return entire
Sales table
Discard
most of
sales table
Sum
• Data is pushed to database server for processing
• I/O rates are limited by speed and number of disk drives
• Network bandwidth is strained, limiting performance and concurrency
Exadata Smart Scan
把查询性能提高10倍以上
What Were
Yesterday’s
Sales?
Select sum(sales)
where salesdate=
‘22-Jan-2010’…
Return Sales for
Jan 22 2010
Sum
• Off-load data intensive processing to Exadata Storage Server
• Exadata Storage Server only returns relevant rows and columns
• Wide InfiniBand connections eliminate network bottlenecks
Exadata Storage Index
Transparent I/O Elimination with No Overhead
Table
Index
A B C D
– Store MIN and MAX values of columns
– Typically one index entry for every MB of disk
1
3
5
5
8
• Exadata Storage Indexes maintain summary
information about table data in memory
Min B = 1
Max B =5 • Eliminates disk I/Os if MIN and MAX can never
match “where” clause of a query
Min B = 3 • Completely automatic and transparent
Max B =8
3
Select * from Table where B<2 - Only first set of rows can match
Copyright © 2010, Oracle Corporation and/or its affiliates
– 18 –
6
6
6
6
Benefits Multiply
10 TB of user data
Requires 10 TB of IO
1 TB
with compression
100 GB
with partition pruning
Subsecond
On Database
Machine
20 GB
with Storage Indexes
5 GB Smart Scan on
Memory or Flash
Data is 10x Smaller, Scans are 2000x faster
议题
• Exadata 产品介绍
• Exadata 智能技术
• Exadata 金融行业案例分享
• Q&A
26
Exadata 全球客户实施/POC测试结果
Item
Customer
Project / App
Status
Result
1
Bank of America
Financial DW and HR DW
Deployed
10-26x faster
2
Commonwealth
bank of Australia
DB consolidation/
PeopleSoft Financials
Deployed
Run 300 DB
services
3
SK Telecom
DLAP&BI,24TB
Deployed
10x faster
4
National Healthcare
Group
OLTP
Deployed
470x faster
5
Financial
DW
POC
330x than corrent
33x than target
6
Linkshare
OLTP/OLAP
Deployed
10x faster
7
Financial
Cognos App/ BI
POC
91x faster
8
Banca Transilvania
DW & OLTP
Deployed
30x faster
Turkcell Bio(Telco)
DW
Serving 50k reports/month
250TB Raw Data to 25TB
Disk space(HCC)
Deployed
10-400x Faster
P&G
DW
Deployed
22-144x Faster
9
10
Exadata 中国区用户POC测试结果
序号
行业及项目
配置
测试结果
测试日期
1
Telco: 经营分析
V2, ¼ Rack
168倍
2010.11.26 - 28
2
Telco: 财务系统
V2, ¼ Rack
20倍
7天, 2010
3
Telco:经营分析
V2, ½ Rack
235倍
2010.9.8 - 15
4
保险: 数据仓库
V2, ¼ Rack
25倍
21天, 2010.5
5
保险:EDW project
V1
5倍
2009.1 – 2009.4
6
MRD: ETC (DW)
V2, ¼ Rack
300倍
14天, 2010.5
7
MRD: ODS/DW
V2, ¼ Rack
62倍
14天, 2010.5
8
DATES & DW
V2, ¼ Rack
10 - 450倍
2010.7.5 -16
9
MRD: 集运运输(OLTP)
V2, ¼ Rack
10倍
2010.8.9 - 18
10
电力: 低压集超(DW)
V1
10 倍
7天, 2010.1
* 测试结果为Exadata相当于用户原有环境或第三方对比测试方案的性能提升倍数
Bank of America
BOA需求

Infrastructure
Simplification
大幅缩减存储需求
采用Exalogic整合中间件基础设施
采用Exadata整合数据库服务器和整合应用
提高服务器使用效率
实现数据中心的计算能力作为服务

•
•
•
•
<Insert Picture Here> •
Analytics
Consolidation
Security and
Identity
•替换Teradata 比较分析
• 分析作为服务
• 分析系统实现优化和整合
•
•
•
实现身份管理作为服务
数据安全
合规和治理
•
•
大批应用系统实现优化和提升效率
营销服务、呼叫中心、财务和人力准化资源标
Oracle as a
Service
© 2011 Oracle Corporation – Proprietary and Confidential
3
实现数据中心“云”
从“竖井”到“网格”
• 按峰值计算硬件容量
• 难于扩展
• 高管理成本
• 共享资源池
• 按需分配资源
• 成本集约
我们对目前Server需要和策略进行模型分析
并相应计算了用*Exa…产品线的节省
线性测算
目前
2,270
数据库
服务器
<Insert
1,782
WebLogic
服务器
Picture
Here>
Core based model(按CPU核算)
Tiered server model AIX, Solaris,
Linux
整合后移植到Linux上
假设每年12-18%成长
Exadata
如果不变化
50% of cores move to Exadata over 5
years(5年有一半的CPU核移植到Exadata)
整合效应按上述一半计算
余下基础设施按照通常线性测算
© 2011 Oracle Corporation – Proprietary and Confidential
reduce server costs
如果按照Oracle建议模
式
$140
$249
减少服务器成本
11
POC 结果
HR 数据仓库 POC
9.2x – 27.6x
Average BI
Speedup
BI Test Case 1 (Single User for
Each Query)
12.7
BI Test Case 2 (5 Users Q1-Q5,
1 User Q6-10)
14.5
BI Test Case 3 (10 Users for
Each Query)
27.6
BI Test Case 4 (25 Users Q1Q5, 10 Users Q6-Q10)
9.2
12.6x Average
ETL Speedup
ETL Tests (4 Load Scripts)
12.6
0
5
10
15
Improvement Factor
20
25
30
POC 结果
Global Markets DW POC
Reports throughput with all the real-time and batch ETL jobs running!
900,000
35
33
800,000
825,734
30
700,000
25
600,000
20
500,000
Reports per Hour
400,000
15
Exceed Factor
300,000
10
200,000
100,000
5
25,000
0
0
Stretched Goal
Exadata
Concurrent Users = 300
Number of Distinct SQLs= 328
Very complex SQL, each runs into multiple pages, and total size of sql text > 17MB!!
BoA 在5年时段内能够实现2亿7千万-4亿美金
在基础设施方面的节省
<Insert Picture Here>
© 2011 Oracle Corporation – Proprietary and Confidential
10
中国工商银行
ICBC Exadata POC项目目标
平台
OLTP
OLAP
扩展
性
混合
DW对
比
集群
……
POC结果总结
完全兼容目前前端/后端应用
支持OLTP/OLAP
应用
查询 联机交易 批量 平均
PCM、CM 220
239
11 198
MPVS
62
23
43
高效的加载/转换
支持混合负载
支持大集群场景
Oracle合计投入286个人天
支持应用资源管控
性能平均提升11-239倍
线性扩展达到1.92倍
可管理、易变更
高可用
累计共295个应用测试场景
深圳联合金融服务集团
金融业成功案例 –深圳联合金融服务集团
“云银行”IT外包服务
 客户介绍
全方位的专业金融外包服务集团公司,为中小银行提供一站、
的金融外包服务,控股股东:深圳金融电子结算中心,上级管
理机构:中国人民银行深圳中心支行,共5,000多名员工
 现状与挑战
•
外包业务发展迅速、客户数增长很快,核心系统数据库批
处理性能不佳
•
客户需求变化很快,要求IT基础设施能够与之相适应进行
快速调整
•
原有系统采用“竖井式”架构,每个系统按最初峰值负载设
计配置,扩展性差、灵活性差,系统之间无法共享资源
•
多个业务系统,管理维护复杂
 为什么选择Exadata
•
高性能的混合负载工作模式满足数据中心数据整
合管理目标,云的方式降低成本、扩容简便
•
一体化的共享数据库资源池,部署多应用情况下
的服务快速提供
•
降低成本,提升效率
•
资源弹性调配能力
•
管理的自动化和管控的集中化
•
Oracle应用软件与Oracle云数据库服务器
的无缝配合
•
一体化解决方案简化集成、管理和维护的
复杂程度
 解决方案
• 采用完整的Oracle解决方案,搭建联合金融的“
云银行”IT外包服务平台
•
¼ Rack 配置Exadata X2-2数据库云服务器
•
Oracle FLEXCUBE核心银行软件
•
Oracle EBS 、OFSA、Siebel CRM
•
WebLogic、BPM Suite、OBIEE
 客户预期
•
三年内外包客户数量达到50家,账户数达500万
•
将核心、信贷、集中作业平台、数据仓库、管理
会计、内容管理等系统全部整合到Exadata平台
金融业成功案例 –深圳联合金融服务集团
“云银行”IT外包服务
“云银行”IT外包服务平台:
• 基于全套的ORACLE金融解决方案,为中小银行提供功能全面、高可用、高品质、高安
全性的数据外包服务:
 高性能的“云计算”数据处理平台。后台数据服务器采用Exadata作为集成数据管理平
台,实现存储和服务器资源的有效整合,提供传统架构3倍以上的业务处理能力
 “混合云”服务平台。数十台刀片服务器组成高性能的应用服务器集群,采用虚拟化技
术统一管理,兼顾客户“共享”或“私有”的应用服务需求
 最佳的应用解决方案。应用系统集成了一系列的ORACLE金融业最佳解决方案,包括
:全球排名第一的FLEXCUBE核心银行软件、金融业应用最广泛的财务管理软件
ORACLE EBS和管理会计软件OFSA,全球第一的客户关系管理软件SiebelCRM
 完全符合SOA标准的应用基础平台。应用服务器采用WebLogic中间件,流程银行引
擎基于ORACLE BPM套件,报表和商业智能分析采用OBIEE解决方案,等等;
 结合深圳金融电子结算中心支付清算平台的功能,联合金融的“云银行”IT外包服务平台还
能够为入网银行提供跨行支付和清算一体化服务。给新开业的小银行和外资银行提供顺畅
、便捷、可靠的支付通道
 按照规划,联合金融公司将建立一南一北两个数据中心以及同城灾备中心。数据中心之间
将通过Exadata的数据同步技术保持备份数据与生产数据的实时同步,为银行提供最高等
级的数据安全和业务连续性保障
© 2008 Oracle Corporation – Proprietary and Confidential
42
Appendix
Download