全闪存存储介绍
前言

华为OceanStor全闪存系列存储是面向企业等关键业务打造的全闪存存储系统。该系列
产品采用独有的SmartMatrix架构，基于软硬件的全互联和集群级资源共享和调度，实
现全对称A-A的业务服务能力；内置闪存原生架构的FlashLink®技术系列功能等特性，
在保证稳定低时延大吞吐量的同时，还能保证数据生命周期的可靠性和稳定性。

能够满足数据库、虚拟桌面（VDI）、虚拟服务器架构（VSI）、文件共享服务等企业
级应用的关键需求，助力金融、制造、运营商等行业向全闪存时代平滑演进，构建虚拟
化、云化和智能化IT。
1
Huawei Confidential
目标

2
学完本课程后，您将能够了解全闪存存储的：

产品定位

软硬件架构

关键特性和技术优势，如FlashLink等

典型应用场景
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
3
Huawei Confidential
存储全景图
解
决
方
案
存储即服务
视频监控云
设备管理
数
据
管
理
HPC
媒资云
集中管理
DeviceManager
企业关键业务
业务驱动存储控制器
eSight
OceanStor DJ
全闪存存储
产
品
组
合
Huawei
Huawei
OceanStor
OceanStor
Dorado
5000 V6
Dorado 3000 V6
Huawei
OceanStor Dorado
8000 V6
4
Huawei Confidential
混合闪存存储
Huawei
OceanStor
Dorado 6000 V6
Huawei OceanStor
Dorado 18000 V6
注：以2020H1华为公司部分存储产品为例。
存储双活
Huawei
OceanStor
2800/2810 V5
Huawei
OceanStor
5300/5500
V5/F V5
Huawei OceanStor
6800 V5/F V5
数据备份
智能运维
eService
分布式存储
Huawei
OceanStor
5600/5800
V5/F V5
Huawei OceanStor
18500/18800 V5/F V5
Huawei
OceanStor
100D
Huawei
OceanStor
9000
产品定位
华为OceanStor全闪存
•
芯片引领：采用智能芯片、端到端NVMe架构、FlashLink®智
能算法和32个控制器的强大扩展性能
•
SmartMatrix：从部件级、架构级、系统级、方案级和云级打
造端到端的可靠性架构，承载云化全融合场景需求，保障业务高
可用
•
端云AI：基于AI芯片和算法使能全生命周期智能管理，避免数
据迁移导致的业务割接与中断，提供流畅的使用体验，提升企业
效率
5
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构

硬件架构
▫ 软件架构
3. 关键技术
4. 应用场景
6
Huawei Confidential
控制框正视图
图标
右挂耳图标说明
框ID指示灯
2U 盘控一体控制框
框定位指示灯
1. 蓝色，闪烁：控制框正在定位。
2. 灭：控制框未定位。
框告警指示灯
1. 琥珀色，亮：控制框出现告警。
2. 灭：控制框正常运行。
电源指示灯/电源按钮
4U 盘控分离控制框
注：以Huawei OceanStor全闪存系列部分存储产品为例。
7
Huawei Confidential
控制框后视图
电源模块
接口模块
管理口
维护口
串口
接口模块
电源、BBU一体模块
 1+1冗余
SAS级联口

每控提供2个SAS（SAS版本）/100Gb
RDMA（NVMe版本）级联口
2U 控制框
注：以Huawei OceanStor全闪存系列部分存储产品为例。
8
Huawei Confidential
管理口
4U 控制框
串口
管理模块
维护口
级联架构概览
25盘2.5寸控制框(SAS SSD)
36盘位NVMe控制框(NVMe SSD)
控制框
SAS接口模块
25盘2.5寸硬盘框(SAS SSD)
100Gb RDMA
25盘2.5寸硬盘框(SAS SSD)
SAS硬盘框
注：以Huawei OceanStor全闪存系列部分存储产品为例。
9
Huawei Confidential
100Gb RDMA
全自主可控
36盘NVMe 硬盘框(NVMe SSD)
Smart硬盘框
硬盘框
板载级联口
每个级联模块均提供最
多4个100GE级联口
电源模块
•
1+1冗余支持交流
•
240V高压直流
板载管理口
提供板载管理网
口+串口
级联模块
•
双级联模块
•
12G SAS上行/下行
串口
硬盘框ID显示器
注：以Huawei OceanStor全闪存系列部分存储产品为例。
10
Huawei Confidential
mini SAS HD级联端口
600W电源模块
•
1+1冗余
•
集成磁盘框风扇
•
支持交流电源
3D互动展示多媒体
产品型号太多，数据也比较枯
燥，要是能看到实物就好了
教授别担心，有华为存储3D互动多媒体，就像看到
实物一样，还可以看产品的爆炸视图，用鼠标拆卸
部件可以看到产品的内部结构，访问路径是：
华为数据存储信息中心->3D互动展示多媒体
11
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
▫ 硬件架构

软件架构
3. 关键技术
4. 应用场景
12
Huawei Confidential
软件架构
SmartKit
eService
管理主机操作系统层
维
护
终
端
软
件
管理网口/串口
UltraPath
SAN主机操作系统层
iSCSI/FC通道
存储系统端软件
DeviceManager
Cache
OceanStor BCManager
SNMP
CLI
Syslog
HyperSnap
HyperReplication
HyperClone
HyperMetro
HyperCDP
SmartQoS
SmartThin
SmartMigration
SmartVirtualiz
ation
三副本
Pool
SCSI
RAID
SmartDedupe&SmartCompression
存储操作系统
13
Huawei Confidential
管理功能控制软件
应用
服务
器端
软件
SmartMatrix全互联架构
主机 IO
网络适配器
前端
共享卡
后端
共享卡
前端
共享卡
后端
共享卡
前端
共享卡
后端
共享卡
网络适配器
前端卡全共享
前端
共享卡
后端
共享卡
192
核
192
核
192
核
192
核
控制器全互联
盘框跨引擎互联
注： 以Huawei OceanStor Dorado 8000/18000 V6 为例；Huawei
OceanStor Dorado 3000/5000/6000 不是全互联架构，是双控架构。
14
Huawei Confidential
全均衡 (A-A)架构
1
自研多路径
将IO均匀打散到前端所有端口
接入负载均衡
Shared Front-End I/O Module
Shared Front-End I/O Module
2
A
B
C
D
A
B
C
前端共享接口卡
IO均匀分布到所有控制器
前端负载均衡
D
3
全局缓存
全部控制器参与业务处理，LUN无归属
控制器负载均衡
Shared Back-End I/O Module
Shared Back-End I/O Module
4
15
Huawei Confidential
RAID 2.0+
数据均衡打散到所有SSD
盘负载均衡
目录
1. 产品定位
2. 软硬件架构
3. 关键技术

高性能
▫ 高可靠
▫ 高安全
4. 应用场景
16
Huawei Confidential
IO传输加速技术
主机
25G/100G DTOE
存储
引擎
前端共享
前端共享
前端共享
前端共享
存储控制器
存储控制器
存储控制器
存储控制器
后端共享
后端共享
后端共享
后端共享
100G/RoCE
智能框
17
Huawei Confidential
智能框
智能框
智能框
DTOE协议卸载技术
TOE
传统网卡
DTOE
协议栈引擎全卸载
TCP引擎卸载
I/O
I/O
I/O
PHY
PHY
PHY
MAC
NIC
MAC
IP
MAC
TOE NIC
IP
TCP
TCP
OS
buffer
IP
TCP
Driver
Protocol
18
buffer
Kernel space
Driver
buffer
Kernel space
OS
FileSystem User space
Huawei Confidential
Protocol
DTOE NIC
OS
FileSystem User space
Driver
Protocol
User space
FileSystem
智能多级缓存技术
FS Meta Cache
LUN Meta Cache
DIMM
LUN Map Table
CPU
DDR
Dentry Table
Inode Table
Write Log
Cache
SFP Table
Read Only
Cache
POOL Meta Data
SCM卡或盘
Cache智能
流动算法
Data IQ
FP Table
MDS Table
PCIE
PCIE
SCM Cache
LSM Tree Table
Plog
19
Huawei Confidential
Data Cache
SmartCache
主机读序列通过算法识别热点区域，以及热点区域的IO模型
读IO序列
主机读请求
A A C C E E E E B B C C E E
1 2 1 3 1 2 3 4 1 2 2 4 5 6
AI-Based Per-LBA
Prediction Pattern
LUN
LUN-0
Random
Short Sequential
盘上读取的数据进入内存缓存
A A
1 2
Memory
B B
1 2
C
1
内存淘汰时写入SCM
SCM
LBA[0,X1] Pattern:
Sequential degree: 2
C
3
C
2
C
4
LBA[X1,X2]
Pattern:
Random Access
进入SCM的区域
SSD
随机模型及短顺序模型的热点区域才进入SCM缓存
20
Huawei Confidential
Long Sequential
E E
E E
1 2
3 4 E E
5 6
LBA[X2,X3] Pattern:
Sequential degree: 6
Cold
不进入SCM的区域
元数据时钟置换调度算法
协议缓存
Dentry item
Inode item
元数据时钟置
换调度算法
swept
Lun Map
Table
文件系统缓存
指纹缓存
Dentry Table
FP Table
Inode Table
SFP Table
POOL缓存
MDS Table
21
LUN映射缓存
Huawei Confidential
文件系统分发策略
目录
/
/a
/c

/b
/a/b
/c/a
/c/c
FSP
FSP
Shard
Shard
vNode
…
/b/a

FSP
FSP
FSP
FSP
Shard
Shard
Shard
Shard
…
文件

vNode
vNode
/b/a/c
…
FSP
FSP
FSP
FSP
Shard
Shard
Shard
Shard
…
…
Node(控制器)
22
Huawei Confidential
vNode
vNode
…
FSP
FSP
Shard
Shard
…
…
Node(控制器)
Node(控制器)
vNode
文件系统访问亲和模式
NFS/CIFS
Client0
创建/A/B目
录
0
NFS/CIFS
Client1
创建/C/D目
录
Huawei Confidential
NFS/CIFS
Client2
NFS/CIFS
Client3
创建/E/F目录
1
2
3
NFS/CIFS
NFS/CIFS
NFS/CIFS
NFS/CIFS
/A
/C
/E
/G
/A/B
/C/D
/E/F
/G/H
vNode 0
vNode 1
vNode 2
vNode 3
CPU
CPU
CPU
CPU
A控
23
主机
B控
创建/G/H目
录
文件系统访问均衡模式
NFS/CIFS
Client
主机
创建/A/B/C/D目录
NFS/CIFS
/A/B
/A
/A/B/C
/A/B/C/D
vNode 0
vNode 1
vNode 2
vNode 3
CPU
CPU
CPU
CPU
A控
24
Huawei Confidential
B控
FlashLink - 众核技术
(LUN, LBA), Data
….
N7
N1
N2
DHT环
N6
N3
N5
vnode
vnode
vnode
CPU
CPU
CPU
控制器内按CPU分区

CPU调度和跨CPU传输的开销
N4
I/O读写
数据交换通道
协议解析
数据刷盘
CORE
CORE
CORE
CORE
CORE CORE CORE
CORE
CORE
CORE
CORE
CORE
CORE CORE CORE
CORE
专用
I/O读1
专用
I/O读2
共用
I/O写1
CPU内按核分组

25
Huawei Confidential
CORE
CORE
读写I/O与其他I/O部署在不同分
组避免相互干扰
CPU内按核绑定IO
I/O写2

CORE
vnode与CPU做绑定，减少跨
CORE
一次请求在同一个核上连续执行并
实现免锁设计，避免频繁多核切换
FlashLink - 大块顺序写
存储设备
26
ROW满分条大块顺序写
传统写放大
•
基于自研SSD，控制器感知硬盘内数据布局
以RAID 6为例，D0数据发生变化，需要先读D0、P和Q再写新的nD0、
•
多个离散的数据块在控制器内存中被聚合成一个连续的大数据块
nP和nQ，因此其读放大是3，写放大也是3
•
大数据块被顺序写入SSD
RAID成员盘数多，RAID利用率高
•
1段大块顺序写充分利用SAS带宽减少垃圾回收
Huawei Confidential
FlashLink - 冷热数据分流
• 控制器自动感知SSD盘内数据布局
• 在控制器和SSD盘内同步执行不同类型的数据独立分区
• 元数据和数据被分别独立分区存放
• 有效减少盘内垃圾回收
控制器自动感知硬盘内数据布局
元数据和数据混杂存放
元数据
27
Huawei Confidential
数据
元数据和数据分区存放
减少垃圾回收
FlashLink - IO优先级调整
数据读写
Top1
数据读写
高级特性
Top1
高级特性
Cache批量写
Top1
硬盘重构
Top1
硬盘重构
垃圾回收
Top1
垃圾回收
I/O优先级调整
Top2
Top3
cache批量写
Top4
Top5
控制器自动感知硬盘内数据布局
数据读写I/O永远第一优先级响应，其他I/O等数据
所有类型I/O按时间顺序响应，保持同一优先级
读写I/O完成后再重新启动，保障数据读写I/O时延
最低
28
Top1
Huawei Confidential
FlashLink - 智能盘框
引擎
前端接口卡
数据重构
控制器
后端接口卡
前端接口卡
前端接口卡
控制器
控制器
后端接口卡
后端接口卡
智能硬盘框+鲲鹏芯片
29
Huawei Confidential
前端接口卡
数据重构
控制器
后端接口卡
智能硬盘框+鲲鹏芯片
FlashLink - 智能 (AI)技术
AI芯片+智能算法的学习引擎
AI芯片内置智能缓存算法，基于机器学习框架，主动分析并掌握多个应用模型的I/O规律，不同业务场景下
提升缓存读命中率，系统性能随使用时间提升。
实时采集
在线学习
反馈优化
实时采集业务workload指标
智能芯片高速在线学习
基于在线学习结果
实时判断算法效果
优化客户个性化Cache预期模型
30
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
▫ 高性能

高可靠
▫ 高安全
4. 应用场景
31
Huawei Confidential
高可靠性架构
共享前端
共享前端
共享前端
共享前端
共享前端
共享前端
共享后端
共享后端
共享后端
共享后端
共享后端
共享后端
智能框
32
容忍7控相继失效
容忍单引擎失效
容忍2控同时失效
Huawei Confidential
智能框
智能框
单控制器故障业务不中断
Server
Server
IP switch
IP switch
Mac地址: 2100xxxxabcd
Mac地址: 2100xxxxabcd
X
33
逻辑端口
0
逻辑端口
1
逻辑端口
2
逻辑端口
3
逻辑端口
0
逻辑端口
1
逻辑端口
0
逻辑端口
2
逻辑端口
3
Ctrl.0
Ctrl.1
Ctrl.2
Ctrl.3
Ctrl.0
Ctrl.1
Ctrl.2
Ctrl.3
Huawei Confidential
单链路在线升级业务不中断
主机
TCP连接

IO处理进程升级时间<1.5s

与主机重新建立连接<3.5s，业务归零时间<5s

单链路在线升级业务不中断
①IO处理进程升级
物理端口0
TCP连接
物理端口1
TCP连接
物理端口2
TCP连接
PCIeG3X4
物理端口3
TCP连接
②用户态进程升级，系统不复位
③接口卡在线，与主机建立连接的逻辑端
口Down，协议链接断开
PCIeG3X4
PCIeG3X4
逻辑端口0
逻辑端口1
逻辑端口2
逻辑端口3
IP地址0
IP地址1
IP地址2
IP地址3
Ctrl.0
Ctrl.1
Ctrl.2
Ctrl.3
PCIeG3X4
④IO处理进程升级完成
⑤逻辑端口Up，协议与主机重新建立链接
⑥主机IO恢复
34
Huawei Confidential
SMB高级特性
SMB2.0&3.0均支持Failover
NAS Service
NAS Service
Backend
Backend
智能框
• 业务数据：持续镜像+3副本高可靠技术
• 协议句柄：持续镜像+3副本高可靠技术
35
Huawei Confidential
漂移组
故障切换
故障切换
LIF
LIF
当前端口
LIF
Port1
Bond1
Port2
Bond2
LIF
VLAN
当前绑定
36
Huawei Confidential
LIF
系统默认漂移组
LIF
LIF
VLAN
LIF
LIF
VLAN
LIF
VLAN
当前端口
故障切换
用户自定义漂移组
Port1
Bond2
Bond4
Port8
VLAN漂移组
VLAN
VLAN
VLAN
VLAN
数据可靠性解决方案
目录元数据双映射
业务数据逻辑冗余
目录元数据双映射
业务数据逻辑冗余
本地快照
业务数据冗余
RAID 2.0+
内存保电数据多副本
本地物理数据冗余
37
Huawei Confidential
双活、复制、备份
站点间数据冗余
本地快照
业务数据冗余
RAID 2.0+
内存保电数据多副本
本地物理数据冗余
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
▫ 高性能
▫ 高可靠

高安全
4. 应用场景
38
Huawei Confidential
硬件可信安全启动
OS
华为签名
④
②
BootROM
39
Huawei Confidential
证书注销列表
安全启动的软件验证、加载过程：
Grub
华为签名
华为签名
RSA 引擎
③
Grub
签名公钥
2. 验证并加载Grub
3. 验证软件签名证书状态
①
4. 验证并加载OS
Grub
签名公钥Hash
eFuse
1. 验证Grub的签名公钥
SoC
基于角色权限管理
用户
角色
权限
user1
默认
角色
权限1
自定义角色A
权限2
user2
user3
自定义角色B
权限=功能1：对象1,对象2； 功能2：对象3，对象4；……….
(一组或者多组功能和对象的关系)
40
Huawei Confidential
权限3
安全日志审计
vStore1
FS1
FS0
Audit-Dtree
Audit-Dtree
/Bin
/vNode1
/$Time$Audit1.bin
/$Time$Audit2.bin
/vNodeN
/Bin
/vNode1
/$Time$Audit1.bin
/$Time$Audit2.bin
/vNodeN
Audit-Log-FS
/FS0
/2020-01-03.Audit1.XML
/2020-01-04.Audit2.XML
/2020-01-05.Audit3.XML
/2020-01-06.Audit4.XML
/2020-01-07.Audit5.XML
/2020-01-08.Audit6.XML
41
Huawei Confidential
/FS1
/2020-01-03.Audit1.XML
/2020-01-04.Audit2.XML
/2020-01-05.Audit3.XML
/2020-01-06.Audit4.XML
/2020-01-07.Audit5.XML
/2020-01-08.Audit6.XML
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
42
Huawei Confidential
存储虚拟化应用场景
Bare metal
DR
VM
Private cloud
Automation Provisioning & Orchestration
Block
OceanStor DJ
Class A
Class B
• 2 IOPS/GB
• 1 IOPS/GB
• ≤ 1ms
• A-A or A-P
Pool
Pool
PD
华为OceanStor
全闪存
MV
Site 1
• 0.5IOPS/GB
• ≤ 8 ms
• A-A or A-P
• ≤ 3 ms
• A-A or A-P
Pool
Pool
IVZ1
Pool
Pool
IVZ2
EQUINIX
Site 2
43
Huawei Confidential
Linux池
windows池
Site 3
虚拟化池
Pool
INNOVATIS
…
Unix池
Backup
A-A
A-P
A-A-P
Pool
Class C
备份池
Pool
L1
K1
Site 4
跨协议访问应用场景
SMB业务客户
NFS业务客户
AD Authentication
Unix Security
SMB1/SMB2/SMB3
DNS/AD(IDMU)服务器
NFSV3/NFSV4
SMB-NFS
跨协议访问
LDAP/NIS服务器
DNS Query
AD Authentication
NIS/LDAP Query
存储系统（NAS）
44
Huawei Confidential
思考题
1.
2.
3.
（多选题）华为 OceanStor 全闪存系列存储的典型应用场景有哪些？（ ）
A.
关键业务存储
B.
虚拟环境存储
C.
虚拟桌面
（单选题）RAID-TP可容忍几块盘同时失效？（ ）
A.
1
B.
2
C.
3
（判断题）ROW满分条写对所有数据都采用新写模式，这样不需要因为传统RAID写流程所需的数据读和校
验修改写而产生RAID写惩罚，有效降低了写入过程阵列控制器的CPU开销与对SSD盘的读写压力。（
45
Huawei Confidential
）
本章总结
产品定位
软硬件架构
产品形态
SmartMatrix全互联架构
全均衡(A-A)架构
全闪存存储
高性能
关键技术
应用场景
46
Huawei Confidential
高可靠
高安全
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
47
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
48
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
混合闪存存储介绍
前言

华为OceanStor混合闪存存储系统是新一代数据中心(虚拟化、混合云、精简IT、
低碳)的最佳存储平台。以强大的硬件规格和扩展能力为支撑，融合动态分级存
储、服务质量管理、缓存分区、硬盘均衡、异构存储虚拟化及多重数据保护等
诸多高端存储技术。

同时具备可信、高效、弹性的产品特点，适用于关键业务存储，能满足金融、
政府、能源、制造、交通、教育、电信等各行业对核心业务的需求。
1
Huawei Confidential
目标

2
学完本课程后，您将能够了解混合闪存存储的：

产品定位

软硬件架构

关键特性和技术优势

典型应用场景
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
3
Huawei Confidential
产品定位
OceanStor 融合特性
4
Huawei Confidential
全面自主设计
产品系列
All Flash Arrays
Hybrid Flash Arrays
Huawei OceanStor
18510F V5
Huawei OceanStor
18810F V5
Huawei OceanStor
6810F V5
Performance,
IOPS
Huawei OceanStor
5610F/5810F V5
Huawei OceanStor
5310F/5510F V5
Huawei OceanStor
5110F/5210F V5
Huawei OceanStor
5300F/5500F V5
Huawei OceanStor
5110/5210 V5
Huawei OceanStor
18500F V5
Huawei OceanStor
5600F/5800F V5
Huawei OceanStor
5310/5510 V5
Huawei OceanStor
5300/5500 V5
注：仅为部分产品示意图，产品全景图以官网为准。
5
Huawei Confidential
Huawei OceanStor
6800F V5
Huawei OceanStor
5610/5810 V5
Huawei OceanStor
6810 V5
Huawei OceanStor
18510 V5
Huawei OceanStor
18800F V5
Huawei OceanStor
18810 V5
Huawei OceanStor
Huawei OceanStor Huawei OceanStor Huawei OceanStor
18800 V5
18500
V5
6800 V5
5600/5800 V5
Scalability, PB Usable
产品介绍
Huawei OceanStor 混合闪存系列
集中存储
6
极致融合
宽通道
SAN与NAS的融合，并支持
支持IP Scale-out灵活扩展，
iSCSI、FC、NFS、CIFS、
32G FC，100G RDMA，
HTTP和FTP等网络协议
PCIE 3.0， 100GE以太网
Huawei Confidential
高密虚拟化
分级存储
数据容灾
智能云化
虚拟、智能、高效
高可靠、高扩展
eService 提供7*24主动监控
块级虚拟化、异构、计算虚
双冗余设计和A/A工作模式，
，自动报障并自动建单
拟化等支持，更智能/高效的
RAID 2.0+底层虚拟化；容量
性能控制技术
大、缓存高、接口数多
目录
1. 产品定位
2. 软硬件架构

硬件架构
▫ 软件架构
3. 关键技术
4. 应用场景
7
Huawei Confidential
控制框正视图
图标
说明
框ID指示灯
2U 控制框
框定位指示灯
1. 蓝色，闪烁：控制框正在定位。
2. 灭：控制框未定位。
框告警指示灯
3U 控制框
1. 琥珀色，亮：控制框出现告警。
2. 灭：控制框正常运行。
电源指示灯/电源按钮
6U 控制框
1. 绿色，亮：控制框已上电。
2.
灭：控制框未上电或处于备电状态
保险箱盘标识
注：以Huawei OceanStor 混合闪存系列部分存储产品为例。
8
Huawei Confidential
控制框后视图
2U 控制框
电源/风扇一体化模块
 1+1冗余
 支持交流、-48V直流和
240V高压直流
接口模块
 2个热插拔IO模块槽位，2张卡中最多可
配1张后端SAS接口卡
 接口类型：8Gb、16Gb FC、GE、10GE
电口、10Gb FCoE、10GE光口、12Gb
SAS
SAS级联接口
 每控提供2个板载SAS级联
板载接口
 5300 V5每控制器板载
4×GE
注：以Huawei OceanStor 混合闪存系列部分存储产品为例。
9
Huawei Confidential
3U 控制框
硬盘框
板载上行口 100G
电源模块

1+1冗余

支持交流、240V高压直
流
2U 36盘位 NVMe框
2U 12盘位 3.5寸框
板载下行口 100G
2U 25盘位 2.5寸框
注：以Huawei OceanStor 混合闪存系列部分存储产品为例。
10
Huawei Confidential
板载管理口

每级联模块板载
管理网口+串口
3D互动展示多媒体
产品型号太多，数据也比较枯
燥，要是能看到实物就好了
教授别担心，有华为存储3D互动多媒体，就像看到
实物一样，还可以看产品的爆炸视图，用鼠标拆卸
部件可以看到产品的内部结构，访问路径是：
存储信息服务平台->3D互动展示多媒体
11
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
▫ 硬件架构

软件架构
3. 关键技术
4. 应用场景
12
Huawei Confidential
软件架构
SAN
NAS
OR
SAN
NAS
NAS
System
Control
SAN
File Service
(CIFS/NFS)
Block Service
(FC/iSCSI)
File Semantics
LUN Semantics
Object
Volume
Storage Pool
13
Huawei Confidential
Cache
SmartMatrix 3.0 业务全均衡
CtrlA
CtrlB
A1
A2
A3
B1’
C2’
D3’
B1
B2
B3
A1’
D2’
C3’
C1
C2
C3
D1’
A2’
B3’
D1
D2
D3
C1’
B2’
A3’
CtrlC
CtrlD
Work Cache
14
Huawei Confidential
Mirror Cache
CtrlA
C1
C2
C3
A2
CtrlB
D1’
A1’
B3’
B1’
CtrlC
B1
B2
B3
A1
A3’
D2’
C3’
D3’
D1
D2
D3
A3
C1’
B2’
A2’
C2’
CtrlD
Work Cache
Mirror Cache
前后端全共享架构
Shared Frontend
Shared Frontend
SmartMatrix 3.0
Ctrl-A
Ctrl-B
Shared Backend
15
Huawei Confidential
Ctrl-C
Shared Backend
Ctrl-D
控制器故障主机无感知
服务器
FC 交换机
智能共享接口卡：控制
器故障对主机透明
•
WWN：2100xxxxabcd
对主机无影响：FC链路
保持正常，业务正常工
作，无告警/事件。
•
接口内部快速接管：相
关的I/O将被前端芯片重
定向到其它控制器。
背板
X
Ctrl.A
16
Huawei Confidential
Ctrl.B
Ctrl.C
Ctrl.D
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
17
Huawei Confidential
SAN与NAS的融合
能源 & 电力
SAN与NAS并行架构图
iSCSI/FC/FCOE
NFS/CIFS/FTP/HTTP
大企业
运营商
Block Service
File Service
数据库
票据影像
VDI
视频监控
RAID 2.0+
备份容灾
虚拟机应用
SSD POOL
图片卷宗
移动互联网
免网关
政府 & 公共
块和文件一体化，无需额外购买NAS网关，降低购置成本
并行架构
SAN与NAS并行访问，为不同业务提供最优访问路径，访问性能最优
18
Huawei Confidential
金融
交通
SAN及NAS智能分级
LUN
I/O监控
Extent
数据分布分析
数据迁移
Tier0：SSD
Tier1：SAS
Tier2： NL-SAS
ROOT
文件系统
Dir
Dir
文件策略
文件分布分析
文件
文件迁移
Tier0：SSD
19
Huawei Confidential
Tier1： SAS/NL-SAS
RAID2.0+软件架构
物理硬盘存储池
Pool
Chunk
CKG
Extent
Volume
主机看见LUN
分级
不分级
不分级
多种类型硬盘同时
存放于存储池
20
Huawei Confidential
每个硬盘空间被切分成精 来自不同硬盘上的 CKG被切分成更
细粒度的块Chunk
细粒度的空间
Chunk组成CKG
多个Extent组成
Volume
LUN可在短时间内创建成功
自研芯片技术
智能多协议接口芯片
•
•
控制器芯片鲲鹏920
32Gb FC/100Gb ETH接口
协议硬件卸载，加速前端访问速度
•
•
业界最高性能 ARMCPU
Spec Int值高达930，高于业界25%
智能管理芯片
•
•
精细化设备监控 | 故障切换
内置加密引擎安全接入
SSD控制器芯片
•
•
21
Huawei Confidential
多接口、多介质支持
时延低于业界50% | 可靠性No.1
RDMA Scale-out
连接到用户
管理网络
连接到用户
管理网络
控制框0
直连冗余组网实现8控之间全互连，每引擎共享400G 交换带宽；
空闲的4个口用于扩展到16控直连组网；
SmartIO接口提供内部互联，传输协议为RDMA 协议，端口带宽可达100G；
在SmartIO端口上划分逻辑VLAN同时连接数据网络和心跳网络；
22
Huawei Confidential
控制框1
加密硬盘技术
密管服务器
其他服务器
维护终端
KMIP+TLS
KMA
存储
Internal KM
TPM
AK
23
Huawei Confidential
KMIP+TLS
交换机
W/R Data
SED
KMIP+TLS
软件分类—块服务特性
SmartMotion
数据水平流动
SmartVirtualization
数据跨系统流动
SmartQoS
智能服务质量控制
效率提升软件
SmartThin
自动精简配置
SmartTier
数据垂直流动
数据保护软件
SmartDedupe &
SmartCompression
智能数据重删压缩
SmartPartition
智能缓存分区
HyperSnap：基于增量的本地数据保护
分区 1
分区 3
分区 2
分区
4
SmartCache
智能SSD缓存
24
Huawei Confidential
SmartErase
数据销毁
分区
5
APP
APP
APP
HyperCopy ：设备间的数据保护
分区
N
SmartMigration
LUN迁移
HyperClone：完整副本的本地数据保护
HyperReplication:数据中心间的容灾保护
SmartMulti-tenant
多租户
HyperMetro：双活数据中心保护
软件分类—文件服务特性
25
CIFS
NFS
NDMP
通用Internet文件系统
网络文件系统
网络数据管理协议
SmartThin
SmartQos
SmartPartition
自动精简配置
智能服务质量控制
智能缓存分区
智能SSD缓存
SmartDedupe
SmartCompression
SmartQuota
SmartTier
智能数据重删
智能压缩
HyperSnap
HyperReplication
HyperLock
快照功能
远程复制
文件系统WORM
Huawei Confidential
配额管理
SmartCache
智能分级
HyperVault
一体化备份
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
26
Huawei Confidential
多站点容灾应用场景
级联架构
生产中心
A
方案介绍
异地容灾中心
同城容灾中心

A

秒级异步复制RPO，分钟级RTO
异步复制
(standby)

A
A

同城容灾中心
双活/同
步/异步*
基于CACHE多时间戳的异步远程，最小支持3s的复
制周期
并行架构
生产中心
灵活选择异地灾备中心磁盘阵列，显著提升容灾建设
投入产出比
A’’
A’
统一的存储操作系统平台，确保高、中、低端阵列复
制互通
异步复制
(active)
双活/同
步/异步*
高中低端阵列复制技术互通
华为容灾管理软件BCManager提供的一键式容灾演
练和容灾切换功能，支持几分钟内恢复灾备数据库。
环形3DC
异步复制
(standby)
异地容灾中心

支持容灾中心故障后，剩余站点自动建立复制关系，
提供持续数据保护。Standby复制激活后，数据增量
A’
复制，RTO不变。
注：NAS不支持同步复制
27
Huawei Confidential
异步复制
(active)
A’’

支持单站点配置环形3DC*，简化管理。
存储分层分级应用场景
Hot
Warm
Tier DB
Cold
Frozen
Database
Backup
Archive
40~125
IOPS/TB
≤ 15 ms
10~30
IOPS/TB
≤ 100 ms
99.999%
99.999%
业务应用
Billing CRM
性能要求
可靠性要求
BI
ERP
1000~5500
IOPS/TB
≤ 1.2 ms
200~750
IOPS/TB
≤ 4 ms
99.999%
99.999%
Hot (30%) :
1000~5500
IOPS/TB≤ 1.2 ms
Cold (70%): 40~125
IOPS/TB ≤ 15 ms
99.999%
华为方案
华为OceanStor分布式
28
Huawei Confidential
华为OceanStor全闪存
华为OceanStor混合闪存
思考题
1.
（判断题）华为混合闪存存储支持 NAS 和 SAN 融合，但同时只能同时使用其中一个
（ ）。
29
Huawei Confidential
本章总结
产品定位
软硬件架构
产品形态对比
控制框&硬盘框系统架构
SmartMatrix 3.0 业务全均衡
混合闪存存储
SAN与NAS融合
关键技术
应用场景
30
Huawei Confidential
SAN与NAS智能分级
RDMA Scale-out
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
31
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
32
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
分布式存储介绍
前言

云和AI时代，数据迎来海量增长。高速5G通信、高清4/8K视频、自动驾驶和大数据分
析等越来越多的新兴应用正逐步推高对数据存储的需求。企业不断扩展业务边界，整合
云场景存储资源、以更低TCO、更灵活的弹性部署应对非结构化数据快速增长。在这样
的背景下，分布式存储架构成为了首选。

华为OceanStor 100D分布式存储，可提供块存储、文件存储、大数据存储、对象存储
服务，实现海量数据储存成本更优、使用效率更高、数据全生命周期管理更简单。

华为OceanStor 9000 V5分布式文件存储，针对文件系统应用进行特殊优化，具有大容
量、高性能和易扩展性等方面的优势，同时提供丰富的增值特性。
1
Huawei Confidential
目标

2
学完本课程后，您将能够了解分布式存储的：

产品定位

软硬件架构

关键特性和技术优势

典型应用场景
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
3
Huawei Confidential
产品定位
智能分布式存储
•
复杂业务承载更稳：端到端数据完整性校验及自愈；面向硬盘、节点、
网络等维度的全面亚健康检测与自愈；I/O级、设备级、系统级、数据中心
级端到端可靠性保障。
•
多样性数据使用效率更高：FlashLink性能加速、AI Fabric无损网络等
系列技术；块、大数据、对象和文件等多种存储服务融合管理、数据高效
使用；新老代次硬件、多平台硬件共存，实现系统全生命周期智能管理。
•
海量数据储存成本更优：集群节点海量按需扩展，性能容量线性增长，
优化当期投资；弹性Erasure Coding数据冗余保护；动态重删压缩，实现
高可用与高效能兼具。
4
Huawei Confidential
产品定位
横向扩展文件存储
华为横向扩展文件存储采用全对称分布式架构，为用户提供非结构
化数据共享资源存储，是面向海量非结构化数据存储应用的横向扩
展文件存储系统。
•
•
高性能：高性能的读写访问。
弹性空间：多节点的Scale-out平滑扩展，消除多个命名空间带来的数据
孤岛。
•
简单易用：统一命名空间，统一管理系统内所有软硬件资源，最小化系统
管理维护复杂度。
5
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构

硬件架构
▫ 软件架构
3. 关键技术
4. 应用场景
6
Huawei Confidential
块存储数据节点
1
12盘位
25盘位
注：以Huawei OceanStor 分布式存储P100节点为例。
7
Huawei Confidential
16 15 13 11
14 12 10 9 8
2
3
7
6
1
IO模组1
2
IO模组2
3
IO模组3
4
电源模块指示灯
5
电源模块2
6
电源模块1
7
UID指示灯
8
USB 3.0接口
9
VGA接口
10
调试串口
12
管理网口
11 管理网口连接状态指示灯
4
5
13 管理网口数据传输状态指示灯 14
GE电口连接状态指示灯
15 GE电口数据传输状态指示灯
灵活网卡
16
横向扩展文件存储
P25E
C36A
P12E
P36A
P36E
节点
类型
P12A
S12A
P12X
S25X
8
Huawei Confidential
P25X
P36X
目录
1. 产品定位
2. 软硬件架构
▫ 硬件架构

软件架构
3. 关键技术
4. 应用场景
9
Huawei Confidential
软件架构
OAM
DeviceManager
DeployManager
Upgrade/Capacity
expansion
NFS
S3/Swift
HDFS
DP(Data
Protection)
VBS
(Virtual Block
Service)
EDS-B
EDS-F
OBS Service
Block
NameNode
DNS/LB/BLS
Replication
SCSI TGT
Cache
DataNode
eBackup
OSC
POE
CRR(Replication)
Index Layer
Deduplication
LunMapping
/compression
splitter
OBS Index Layer
Persistence Layer
KV Client
Plog Client
MDC
OSD
Inspection/Data
collection
Plog Server
Infrastructure
IOD/LWT
说明：以Huawei OceanStor 100D为例。
Huawei Confidential
iSCSI
VSC(Virtual SCSI Controller)
Alarm/Monitorin
g
10
Protocol
LiteTask
ZK
CCDB
CM
CMM
IO栈处理(块服务)
VBS
1. VBS收到读写请求，根据lunid+offset hash到一个归属的
EDS-B
1
EDS-B节点；
block
2. 对于写请求EDS-B节点的块服务把数据写入cache，读请求
2
优先在cache中命中，如果不命中则从Index读取；
cache
5
3. 对于写操作，Cache为了快速返回，把数据以小比例EC写入
Plog Server ；
index
3
Plog_client
4. EC编码后的Cache数据写入Plog Server，前台写操作完成；
5. Cache水位达到一定阈值，把脏数据写入index；
6
6. 数据先以用户配置的EC比例写入Plog Server ，再把元数据
记入index；
4
Plog Server
11
Huawei Confidential
Plog Server
7
Plog Server
前台IO
后台IO
7. EC编码后的数据写入Plog Server 。
IO栈处理(对象服务)
S3/Swift Client
1
Load Balancer
DNS
7
1.
如LVS，Nginx等）；
2
POE
OSC
3
Plog
Client
Location
Service
Index
Client
2.
请求发送到OSC模块；
3.
OSC到POE模块对用户进行鉴权；
4.
鉴权通过后，OSC调用Plog Client对数据进行
5
4
EC计算，并发写入Plog Server进行持久化；
5.
Index
Server
6.
12
Huawei Confidential
Plog
Server
IndexServer收到元数据后进行处理，然后调用
Plog client接口写入Plog Server进行持久化保
6
Plog
Server
数据写入成功过后，OSC调用index Client写入
对象元数据；
Plog Client
Plog
Server
客户端将S3/Swift请求发到负载均衡设备（可选，
存；
Plog
Server
7.
OSC返回响应给客户端。
IO栈处理(大数据服务)
Kerberos
/LDAP
HDFS client
1.
计算组件通过hdfs_client将请求
发到NameNode模块，返回文件
2
1
3
元数据信息。
7
NameNode/
DataNode
Plog Client
4
2.
DNS
NameNode到kerberos/LDAP对
用户进行鉴权。
3.
计算组件通过hdfs_client请求发
送到DataNode模块处理数据信
5
息。
Index
server
4.
Plog Client对数据进行EC计算，
并发写入Plog Server（并发写
Plog Client
入）。
6
Plog
server
Plog
server
Plog
server
5.
Plog
server
写入index。
6.
Huawei Confidential
最终元数据写入Plog Server进行
持久化保存。
7.
13
数据写入成功过后将HDFS元数据
返回响应给客户端。
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
14
Huawei Confidential
DHT技术
IO
DHT 打散
……
Service Layer
LUN的LBA与Grain之间的映射
打散粒度
（4M）
Node-1 Node-2
Node-3
Node-4
Node-5
Node-6
Node-7
Grain (e.g., 8KB)
Grain1
LUN1-LBA2
Grain2
LUN1-LBA3
Grain3
LUN2-LBA4
Grain4
LUN的LBA与Grain之间的映射
LUN2 LBA逻辑空间
LUN1 LBA逻辑空间
LUN1-LBA1
Grain1
Grain2
Index Layer
Grain3
Grain4
Partition ID
D
Persistency Layer 1
D
2
D
3
D
4
P
1
P
2
Partition ID
D1
D2
Node-1 Node-2
15
Huawei Confidential
D3
Node-3
D4
Node-4
P1
Node-5
P2
Node-6
Node-7
4个Grains组合
成一个EC分条
存放到
Partition中
Range切分与WAL聚合
Range方式打散
WAL 聚合
A, AA, AB,ABA,ABB,…….……….ZZZ
A, AA, AB,ABA,ABB,…….……….ZZZ
…
Node 1
Node 2
Node 3
Node n
Range 0
Range 1
Range 2
Range Partition
16
Huawei Confidential
…
Range n
多NameNode并发
传统的HDFS NameNode模型
Hbase/Hive/Spark
Active
NameNode
Standby
NameNode
基于NFS或
Quorum Journal的HA
17
Huawei Confidential
华为的HDFS并发多NameNode
Hadoop
计算节点
Standby
NameNode
Hbase/Hive/Spark
Hadoop
计算节点
Active
NameNode
Active
NameNode
Active
NameNode
DataNode
DataNode
DataNode
Append Only Plog技术
磁盘和新介质在不同IO Pattern下均体现出巨大的性能差异：
随机写（8K）
顺序写（8K aggregate->Large size）
硬盘类型
性能
GC写入
硬盘类型
性能
GC写入
HDD
150 IOPS / 1.2 MB/s
/
HDD
5120 IOPS / 40 MB/s
/
SSD
40K IOPS / 312MB/s
Bad
SSD
153K IOPS / 1200 MB/s
Good
Append Only Plog技术可面向介质提供最佳的下盘性能模型
A
……
B
A’
……
B’
……
逻辑地址覆盖写
缓存线性空间
A
B
C
D
A’
E
F
B’
……
数据
写入
物理地址空间
18
Huawei Confidential
PlogID + offset
Plog1
以追加方式写入新的Plog
Plog2
Plog3
……
EC智能聚合技术
传统跨节点EC
基于追加写的智能聚合EC
LUN2
LUN1
……
B1 B2 B3 B4 ……
A1 A2 A3 A4 ……
LUN2
LUN1
原地修改写机制难以实
现高效的I/O聚合
B1
A3
B6
Stripe1 A1
/
A3
/
P
Q
Stripe2 B1
/
/
/
P
Q
Stripe3 B6
……
/
/
B9
P
Q
A1
A5
B9
A8
……
补齐读写A2、A4
小块写
性能提升
补齐读写B2、B3、B4
固定的地址映射，无法等到同一分条
的数据同时写入凑齐满分条，导致23倍补齐读写放大
Full stripe
通过追加写机制实
现高效I/O聚合
智能聚合
Cache
New
Stripe1
New
Stripe2
……
A1
B1
A3
B6
B9
A1 B1 A3 B6
P
Q
B9 A5 B5 A8
P
Q
A5
B5
A8
……
与写入地址无关，任意时刻
任意数据写入，都能聚合成
满分条，无额外放大
New full stripe
A1
A2
A3
A4
P
Q
A1
B1
A3
B6
P
Q
B1
…
B2
…
B3
…
B4
…
P
…
Q
…
B9
…
A5
…
B5
…
A8
…
P
…
Q
…
Node1 Node2 Node3 Node4
19
B5
……
B1 B2 B3 B4 ……
A1 A2 A3 A4 ……
Huawei Confidential
Node 5 Node 6
Node1 Node2 Node3 Node4
Node 5 Node 6
多级缓存技术
Write Cache
IO
Step 1
eds
Step 2
Step 1
Memory Write Cache
Step 2
Read Cache
IO
Memory Read Cache
Memory Write Cache
Memory Read Cache
Step 4
Step 3
Step 3
osd
SSD WAL Cache
SSD Write Cache
Step 4
HDD
20
Huawei Confidential
SSD Read Cache
SSD WAL Cache
SSD Write Cache
Step 5
HDD
SSD Read Cache
元数据分布式访问
① 客户端发起访问，首先从MDS（元数据服务）根
路径开始查找元数据
④ 需要到另一个MDS查询
⑤ 获得元数据后，根据元数据所指位置读取数据
② 根目录告知客户端需要到另一个MDS查询
③ 同一MDS继续查找
/
MDS1
①
CA
②
/user
/file
MDS2
③
④
/file
/test
MDS3
/bin
/file1
/home
MDS4
21
Huawei Confidential
DS
DS
DS
DS
/kernal
/file1
/mnt
/file1
/file1
/file1
DS
/lib
/file1
⑤
/src
目录树
/file1
/file1
/file1
/file1
智能负载均衡技术
NFS/CIFS/FTP 客户端
1
2
3
OceanStor DFS
Node
Node
Node
Node
Zone 1: 基于CPU利用率
二级子域名: fx.tx.com
Zone 2: 基于网络连接数
二级子域名: td.tx.com
横向扩展文件存储
NFS/CIFS/FTP 客户端
22
Huawei Confidential
Node
Node
单一文件系统
多个独立文件系统
Domain
File System
File System
Dir
Dir
File
File
单一文件系统
Dir
File
23
Huawei Confidential
Dir
File
File System
Dir
File
File
Dir
File
File
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
24
Huawei Confidential
块存储服务应用场景
BSS
MSS
应用
Billing CRM
BI
Report CDR
OA
MSS
Cloud
OSS
Signaling Logs NPO
S/MMS RBT WAP
Hosting
Hosting
时间
--
2016
2016
2015
2014
2014
容量
400 TB
2111 TB
1,260 TB
1,882 TB
1024 TB
1,024 TB
存储
传统高端存储
25
VAS
Huawei Confidential
智能分布式存储
对象存储服务应用场景
……
7*24小时
不间断上传
①
流媒体服务器
弹性云服务器ECS
②
住户
安全
视频传输到
流媒体平台
视频浓缩服务器
②
视频流
转到分
析平台
弹性云服务器ECS
③
原始视频
存入对象存储
视频浓缩后
存入对象存储
对象存储
⑤
26
Huawei Confidential
宠物
喂养
亲情
维系
按时间删除视频
Web Server（展示）
弹性云服务器ECS
④
视频查询
思考题
1.
（多选）华为分布式存储支持以下两种部署方式？
A.
计算存储分离部署
B.
计算存储融合部署
C.
计算单独部署
D. 存储单独部署
2.
（多选）华为分布式存储支持的存储服务四合一是哪4个？
A.
块服务
B.
文件服务
C.
对象服务
D. HDFS服务
E.
27
HTTP
Huawei Confidential
本章总结
产品定位
软硬件架构
分布式块存储&文件存储产品形态
OceanStor 100D 软件架构
业务IO流
分布式存储
数据及元数据打散
关键技术
应用场景
28
Huawei Confidential
Append Only Plog技术和EC智能聚合
智能负载均衡及单一文件系统
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
29
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
30
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
超融合存储介绍
前言

“超融合”作为实现企业信息一体化的云平台，定位于面向中、高端企业的信
息化，以“软硬件垂直深度集成和调优”、“业务应用快速部署”的理念，提
供基于云计算技术的“基础架构一体机”，提升核心业务运作效率。

“超融合”代表了IT产品的一个演进方向，基于虚拟化技术，将计算、存储、
网络资源垂直整合，达到快速部署和扩容、简化维护，实现企业的快速变化的
信息需求。
1
Huawei Confidential
目标

2
学完本课程后，您将能够了解超融合存储的：

产品定位

软硬件架构

关键特性和技术优势

典型应用场景
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
3
Huawei Confidential
传统架构的变化演进
超大规模Web-scale的架构
传统信息化的架构
Server
Server
VM
VM
VM
VM
VM
VM
VM
VM
FC/IP
Network
FC/IP
Network
SAN/NAS
SAN/NAS
计算虚拟化
Server
Server
VM VM VM
VM
Server
Server
Server
设备隐形
存储分布式
互联网分布式
创新
以计算为中心的Scale-Up架构
Huawei Confidential
Server
VM VM
孤立的计算存储资源
4

超融合架构
复杂的管理

10GE Network
Server本地存储
共享式的资源池
以数据为中心Scale-Out架构
分布式存储引擎
向全行业
演进
敏捷管理
敏捷管理
敏捷管理
软件定义，极简管理
以业务为中心Scale-Out架构
超融合简介
上层应用
vCloud
vCloud
虚拟化管理、云管理
虚拟化管理、云管理
虚拟化
通用服务器
企业存储
5
上层应用
Huawei Confidential
物理机
上层应用
虚拟化
HCI
交换网络
交换网络
传统架构
计算存储融合
FusionCube
计算、存储、网络、虚拟化、
VDI、物理机、管理、云
全融合
产品定位
华为超融合基础设施
华为超融合基础设施是基于超融合架构的IT基础设施平台。融合
计算、存储为一体，并预集成分布式存储引擎、虚拟化和云管理
软件，资源可按需调配、线性扩展。主要应用于数据库、桌面云、
容器、虚拟化等多种混合负载的场景。
•
极简管理：出厂预集成；硬件、软件、资源统一管理；一键式运维，
效率提升
•
•
•
极优效率：支持重删压缩；支持EC，存储利用率高
极速性能：单节点性能高；数据重构效率高
极致可靠：支持双活，支撑业务零中断；支持异步复制，RPO时间短；
兼容业界主流备份软件
6
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构

硬件架构
▫ 软件架构
3. 关键技术
4. 应用场景
7
Huawei Confidential
硬件形态概览
刀片服务器
高密服务器
机架服务器
12U 8/16节点
4U4节点/2U4节点
2U单节点
32CPU，12T内存 ，307TB存储
8CPU，2T内存，288TB/76TB存储
2CPU，768G内存，72TB存储
240万
8
Huawei Confidential
64GBps
吞吐
标准版
60VM
高级版
140VM
至少
3节点
最大
256节点
刀片服务器
前视
图
后视
图
半宽单槽位
交换模块
全宽单槽位
电源模块
全宽双槽位
管理模块
服务器
CH121 V5
CH221 V5
交换板
CX310
注：以Huawei FusionServer E9000刀片服务器为例。
9
Huawei Confidential
风扇模块
CH225 V5
CX320
CH242 V5
CX611/CX620
高密服务器
4个冗余电源750W/1200W AC
铂金（94%）
支持4U4节点或者4U8节点
8个后出半高半长
PCIe3.0 x8扩展槽
机箱管理板HMM
5组对旋风扇，支持单风扇失效，N+1冗余，具备3000W散热能力
2*PCIe
集中管理网口
24*NVMe SSD/SAS/SATA
注：以Huawei FusionServer X6800/X6000高密服务器为例。
10
Huawei Confidential
高密接口
节点管理网口
2块1500W AC铂金电源（支
持热插拔、1+1冗余）
板载业务网口
机架服务器
硬盘
USB 3.0接口
VGA接口
灵活IO卡
注：以Huawei TaiShan服务器为例。
11
Huawei Confidential
管理口
串口
VGA接口
电源模块
3D互动展示多媒体
产品型号太多，数据也比较枯
燥，要是能看到实物就好了
教授别担心，有3D互动多媒体，就像看到实物一样，还可以看
产品的爆炸视图，用鼠标拆卸部件可以看到产品的内部结构，访
问路径是：
华为企业产品技术支持网站->多媒体中心->3D互动展示多媒体
12
Huawei Confidential
目录
1. 产品定位
2. 软硬件架构
▫ 硬件架构

软件架构
3. 关键技术
4. 应用场景
13
Huawei Confidential
超融合组织架构
VDI
Office Application
CRM&ERP
BI
数据库
Linux OS
超融合
统一管理
超融合
统一安装
14
Huawei Confidential
Email
业务软件
操作系统
FusionStorage 分布式块存储
一键扩容
EC
双活
异步复制
QoS
精简配置
链接克隆
快照
分布式缓存
多资源池
华为服务器硬件平台
Web Application
Backup
备份软件
DR
容灾
分布式存储架构
超融合基础设施的分布式存储架构
小机/X86服务器+ 外置SAN
Server1
Server2
Server3
存储
10GE /8G FC
SAN Controller
Cache
分布式存储控制器 PCIe SSD
1
存储
15
HDD
Cache
Controller
Controller
计算
2
HDD
Cache
Controller
Controller
计算
Controller
Cache
Controller
Cache
HDD
1、集中存储控制器
分布式存储控制器
2、传统SATA/SAS/SSD硬盘
PCIe SSD
Huawei Confidential
存储
存储
分布式存储逻辑架构
VM
VM
…
Oracle
VBS：虚拟块存储服务
状态视图
SCSI
client
iSCSI…
client
client
MDC：元数据控制服务
OSD：数据存储服务
client
无状态接口层 VBS
MDC
MDC
Partition：HASH分区
数据流
状态视图
MDC
P1
P2'
OSD1节点
P3'
P1'
P2
OSD2节点
数据层 OSD
16
Huawei Confidential
P3''
P1''
P2''
OSD3节点
P3
虚拟化平台系统架构
Huawei Open API
Cloud Storage API
SNMP NBI
FusionManager
Resource
Management
3rd
Configuration
part Virtual Infrastructure
VMware
vSphere
XenServer
API Adapter
Cloud Storage
Management
Huawei Virtual Infrastructure
Fusion
Compute
Fusion
Storage
Fusion
Network
Tools
Backup& DR
注：以Huawei FusionSphere为例。
17
Huawei Confidential
RBAC
UltraVR
HyperDP
Heterogeneous Physical Infrastructure
Server
SNMP
VIS
Portal
Alarm
Storage
Network&Security
Log
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
18
Huawei Confidential
分布式哈希算法
FusionStorage：分布式哈希
业界方案：元数据方式
NameNode
Client
DataNode
Client
DataNode
通过查询集中
元数据节点获知目标
Client
Client
DataNode
Client
Client
Client
键
键
Hash
Hash
映射OSD
映射OSD
DataNode
DataNode
P1
OSD1
P2
OSD2
Server
并行Hash计算与本地内存元数据，
无性能瓶颈任意水平扩展
Client
Server
1 文件映射对象
1 消息分发
2 对象映射PG
2 写 Journal
1 Hash计算 Partition
1 映射盘内位置
3 PG映射OSD
3 写Filestore
2 Partition映射OSD
2 写缓存
2
19
查询内存元数据
DataNode
元数据节点成为性能瓶颈
扩展有限
1
通过内部计算
获知目标
Huawei Confidential
端到端6步，IO路径长
端到端4步，IO路径短
自适应全局重删压缩
block1
Opportunity
table
HASH-A
2
数据块指纹进
入机会表
block2
block3
1
3 从机会表提升
到指纹表
Fingerprint
table
block1
block2
block4
block6
20
Huawei Confidential
HASH-B
写入数据块
block5
通过机会表过
滤重复度不高
的数据
blockA
4
重删后指向指纹
表中的数据
HASH-A
指纹表内存占用少，
可支撑更大容量系
统的重删
多重数据安全保障机制
ErasureCode：支持多种不同配比的EC（N+M）。
Ethernet / InfiniBand
多副本备份：根据安全级别可灵活配置2副本或3副本。
Nod1
Nod2
Nod3
PCI-E SSD Cache技术：读写速度快，掉电数据不丢失。
强一致性复制协议：应用程序写入一份数据时，如果成
功，后端的一份或多份副本必然一致，再次读时，无论
从哪个副本都可读到正确的数据。
Cache
21
Huawei Confidential
Cache
Cache
存储灾备：支持存储双活以及异步复制能力，提供跨站
点的数据冗余保护。
并行快速数据重建
Server 1
Server 2
Disk1
Disk2
P1
P2’
P2
P3
P5’
P9
P9’
P17’
P7’
22
Disk3
P4’
P4
P5
P6’
P6
P7
P21
P21’
P1’
P10
P10’
P13’
Disk4
P13
Server 3
P8’
P8
P22
P22’
Disk5
P14
P14’
P11
P11’
Huawei Confidential
P15
P19’
P16’
P16
P23
P23’
P17
P3’
P9
P2’
P10
P11
P12
P6’
P14’
P18’
Disk6
P18’
P18
P12’
P12
P19
P15’
P20’
P20
P24
P24’
P21
P4’
P22
P8’
P23
P16’
P24
P20’
动态纠删
User Data 1
D1
D2
D3
D4
P1
D1
Disk
Disk
Disk
P1
Disk
分片另外再计算出M(例如2)个冗余
Disk
…
Disk
D2
…
Disk
D3
…
Disk
D4
…
Disk
Disk
…
Disk
P2
…
Disk
分片 4+2，如图所示写入到盘
Node1
Node2
Node3
Node4
Node5
Node6
P2
用户数据1被切成N（例如4)个数据
User Data 2
D1
23
D2
P1
P2
当发生节点3故障以后，用户数据2
D1
Disk
Disk
Disk
P1
Disk
Disk
…
Disk
D2
…
Disk
D3
…
Disk
D4
…
Disk
Disk
…
Disk
P2
…
Disk
Node1
Node2
Node3
Node4
Node5
Node6
Huawei Confidential
被切成N（例如2)个数据分片另外再
计算出M(例如2)个冗余分片 2+2，
如图所示写入到盘
支持机柜级可靠性
超融合存储
传统SAN
机柜1
SAN1
机柜2
机柜n
APP2
APPn
存储池
APP1
APP2
APPn
机柜1
机柜2
机柜n
服务器1
服务器1
服务器n
主副本
服务器1
服务器3
备副本
主副本
备副本
……
服务器2
……
主副本
……
服务器1
服务器n
…… ……
服务器2
主副本
备副本
备副本
 故障业务中断并需手动恢复
24
Huawei Confidential
 故障业务无影响和故障自恢复
……
服务器3
目录
1. 产品定位
2. 软硬件架构
3. 关键技术
4. 应用场景
25
Huawei Confidential
私有云应用场景
ManageOne
部门1
VDC 1
组织和用户自
运维
流程审批
VDC计量
部门2
管理员
VDC 2
组织和用户
自运维
统一服
务目录
流程审批
VDC计量
配额管理
租户管理
计量管理
服务目录
存储服务
多维度
的拓扑
查看
业务
运营
全局资
源管理
云服务
计算服务
统一性
能视图
多维度
统一告
警
网络服务
• 统一服务目录，丰富的云服务业务体验
FusionSphere
FusionSphere
• 自助的服务发放流程使得用户快速获取所需要的资源
• 多种云服务资源池统一告警、拓扑、性能、报表等管理信息
统一呈现
FusionCube
Data Center 1
26
Huawei Confidential
FusionCube
Data Center 2
• 物理资源和虚拟资源的统一管理、支持异构虚拟化统一管理
云化基础设施应用场景
应用
/私有云
业务系统
公有云
行业云
云数据中心
融合资源池
FusionSphere Openstack
华为虚拟化
VMware
Hyper-V
华为虚拟化
VMware
Hyper-V
物理机资源
异构虚拟化，物理资源统一管理
服务器
• 兼容传统业务
• 兼容现有硬件
27
Huawei Confidential
存储
• 运行关键业务
• 自管理自维护
超融合基础设施
客户
需求
• 资源池化
• 弹性伸缩
• 分布式架构
• 集中化管理
异步复制应用场景
生产中心
容灾中心
UltraVR/BCManager
UltraVR/BCManager
VMs
APP
APP
APP
APP
APP
APP
APP
OS
OS
OS
OS
OS
OS
OS
存储复制
FusionCubeA
Huawei Confidential
APP
APP
APP
APP
APP
APP
APP
OS
OS
OS
OS
OS
OS
OS
FusionCubeB
node1
Getdelta
node2
Getdelta
node3
Getdelta
node3
Getdelta
node4
node4
28
VMs
node1
Async Replication
node2
思考题
1.
（简答）请描述超融合基础实施的概念。
2.
（多选）FusionCube解决方案（虚拟化场景）包含哪几个关键组件（ ）？
A. 服务器设备
B. 存储服务软件
C. 虚拟化软件
29
Huawei Confidential
本章总结
产品定位
硬件
产品组件
软硬件架构
分布式存储逻辑架构
超融合设施
分布式哈希无性能瓶颈
关键技术
应用场景
30
Huawei Confidential
自适应全局重删压缩
多重数据安全保障机制
软件
虚拟化
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
31
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
32
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
Hyper系列技术与应用
前言

华为 Hyper系列技术是华为存储提供的一系列高级特性，主要是为存储数据提
供多种保护技术，提升数据可靠性。例如 :HyperRelication 、 HyperMetro 、
HyperCDP、HyperMirror为不同的数据保护场景提供了相应的解决方案。
1
Huawei Confidential
目标

2
通过学习本章内容，您能够：

了解Hyper系列技术的概念、应用场景

了解Hyper系列技术的工作原理

掌握Hyper系列的配置方法
Huawei Confidential
目录
1. HyperSnap
2. HyperReplication
3. HyperMetro
4. HyperCDP
5. 其它Hyper系列技术
3
Huawei Confidential
简介

存储网络行业协会SNIA对快照的定义是：
关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时
间点(拷贝开始的时间点)的映像。
快照可以是其所表示的数据的一个副本(duplicate)，也可以是数据的一
个复制品(replicate)。
4
Huawei Confidential
LUN快照特点

主要特点：

瞬间生成：存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本。

占用存储空间少：生成的快照数据并非完整的物理数据拷贝，不会占用大量存储空间。所以即使源
数据量很大，也只会占用很少的存储空间。
5
Huawei Confidential
a d g
j b e
h k c
f i l
a d g
j b e
h k c
f i l
8:00 AM
a d g
j m e
h k n
f i l
a d g
j b e
h k c
f i l
9:00 PM
LUN快照功能原理
写入源LUN L2->P5（P2被快照引用）
再次写入源LUN L2->P7（P5释放）
写入快照 1 L0->P6
写入快照 2 L2->P8

写入源LUN L2 的请求直接申
请新空间 P5 写入；原来的空
LUN Mapping Table
Snap Mapping Table
Snap Mapping Table
间 P2 被快照引用。

写入快照1 L0 的请求直接申
请空间 P6 写入，没有额外的
读写开销。

再次写入源LUNL2 的请求直
接申请新空间 P7 写入；原来
L0->P6
L0->P0
A
P0
SSD 存储空间
6
Huawei Confidential
L1->P1
B
P1
L3->P3
L2->P2
L4->P4
L2->P5
L2->P7
的空间 P5 由于没有快照引用，
L2->P8
直接释放。
C
D
E
P2
P3
P4
F
P5
G
H
I
P6
P7
P8

再创建并激活一个快照2。
文件系统快照

文件系统快照，支持生成源文件系统在某个时间点上的一致性映像，在不中断正常业务的前提下，快
速得到一份与源文件系统一致的数据副本。副本生成之后立即可用，后续文件系统的数据修改或写入
不会对快照数据产生任何影响，同样对快照数据的读操作也不会影响源文件系统中的数据。
Snap（T1）
文件系统
file1
file2
file3
生成快照
file1
file2
file3
快照数据
保持不变
修改文件
文件系统
file2
file3
7
Huawei Confidential
Snap（T1）
file1
file4
file2
file3
相关概念
术语
源文件系统
解释
需要创建快照的源数据所在的文件系统。
文件系统在某个时间点的数据副本，与源文件系统的数据保持一致。
文件系统只读快照 通过NFS（Network File System）共享方式，应用服务器可以读
取该副本的数据。
8
BP
BP（Block Pointer）是文件系统中用于记录数据块存储位置的元数
据。
ROW
ROW（Redirect on write）是指写时重定向技术，是实现文件系统
快照的核心技术。当源文件系统收到写数据请求需要修改源文件系
统中的数据时，存储系统在存储池中为新写入的数据指定新的存储
位置，并将被修改数据块的指针指向新的存储位置。
Huawei Confidential
实现原理
应用服务器
① 应用服务器下发写请求，
将bp1位置的数据A修改为数
据E。
1
源文件系统
FileA
bp1
bp2
bp3
FileB
bp4
9
Huawei Confidential
② 存储系统将新数据写入存
储池的新位置。
3
E
A
B
C
D
2
③ 修改文件系统的指针，指
向存放新数据E的位置。
文件系统快照读写流程
创建快照
数据备份结果
源文件系统
源文件系统写入数据
FileA
bp1
bp2
bp3
FileB
bp4
源文件系统
FileA
bp1’
bp2
bp3
FileB
bp4
10
Huawei Confidential
存储池中的数据
A
B
C
D
存储池中的数据
E
① 应用服务器下发读取快照请求。
② 根据文件系统快照的指针从存
储池读取数据返回给应用服务器。
文件系统快照
FileA
bp1
bp2
bp3
读取快照
存储池中的数据
源文件系统
FileB
bp4
FileA
bp1’
bp2
bp3
文件系统快照
FileB
bp4
A
B
C
FileA
bp1
bp2
bp3
D
FileB
bp4
bp1
bp2
bp3
A
B
C
FileB
bp4
D
1
数据读写状态
文件系统快
照
FileA
E
2
快照删除
snap1
L1
snap2
×
snap3
fs
P1
关键词：后台异步回收
L2
删除快照将释放掉快照的独占数
P2
P2’
据，而文件系统和其他快照的数
据不会受到任何影响。即仅回收
L3
L4
11
Huawei Confidential
P3
P3’
×
P4
P4’
×
独占空间，共享数据不会被删除。
P3’’
P4’’
P4’’’
快照回滚
source
FS
data1
data2
data3
snap0
data1
data2
data3
创建快照
data1修改为data4
source
FS
data4
data2
data3
data1
data2
data3
创建快照
Huawei Confidential
snap1
data4
data2
data3
回滚采用后台拷贝完成，找出文件系统当前和回滚目
标快照的差异，并将有差异部分快照的数据拷贝至文
件系统当前时间点。
source
FS
data4
data2
data5
12
秒级回滚
后台回滚
不删除目标之后的快照
snap0
data3修改为data5
source
FS
data1
data2
data3
关键词：
当把文件系统回滚至snap0时，snap1不会被删除。
且后续还可以将文件系统回滚至snap1。
source
FS
data4
data2
data3
配置流程
开始
检查License文件
创建源文件系统
创建快照
结束
图注
13
Huawei Confidential
必选项
可选项
仿真测试场景
源文件系统
文件系统快照
实验
访问
NFS
协议
Linux客户端
源文件系统被修改
源文件系统
快照目录
文件系统快照
CIFS
协议
访问
数据
分析
Windows客户端
快照目录
14
Huawei Confidential
目录
1. HyperSnap
2. HyperReplication
3. HyperMetro
4. HyperCDP
5. 其它Hyper系列技术
15
Huawei Confidential
简介

远程复制是容灾备份的核心技术，可以实现远程数据备份和灾难恢复。
远程复制的作用
远端备份和恢复
目的
受益
业务数据失效后，可以通过远端 避免主站点数据失效后，由于数
的备份数据进行恢复。
据丢失给客户造成的损失。
灾难发生时可以通过从站点快速 避免主站点故障后，由于业务中
持续的业务支撑
接管主站点的业务数据，以保证 断给客户造成的损失。
业务的可靠性。
灾难发生后可以通过从站点的数 避免灾难发生后，由于业务数据
容灾恢复
据实现对主站点数据的恢复。
丢失或恢复时间过长给客户造成
的损失。
16
Huawei Confidential
异步远程复制原理
RM：远程复制管理模块
DCL：Data change log，数据变化位图
主机
1
2
DCL
3
6
RM
1
2
主端
Cache
主LUN
5
5
17
Huawei Confidential
从LUN
4
4
7
从端
Cache
主LUN
快照
远程复制链路
WAN
7
从LUN
快照
主LUN
快照
从LUN
快照
主端存储系统
从端存储系统
异步远程复制写流程
主机
RM
主端
Cache
1 数据块N
1 数据块N
2 写I/O结果
2 写I/O结果
主LUN
快照
主LUN
从端
Cache
从LUN
从LUN
快照
数据块N
3
数据下发到LUN后
在DCL中记录差异
4 主LUN快照
被激活
4 从LUN快照
被激活
5 主端Cache中的数据同步至从端Cache
5
6
数据增量同步
至从端Cache
删除DCL
差异
数据块N
7 主LUN快照
被停止
18
Huawei Confidential
7 从LUN快照
被停止
未使用一致性组的远程复制
主LUN01
从LUN01
主LUN01
远程复制任务01
主LUN02
主LUN02
远程复制任务02
•
•
19
主LUN01
从LUN02
主LUN02
主LUN03
从LUN02
远程复制任务02
远程复制任务02
从LUN03
从LUN01
远程复制任务01
远程复制任务01
从LUN02
主LUN03
从LUN01
从LUN03
主LUN03
从LUN03
远程复制任务03
远程复制任务03
远程复制任务03
1 初始状态
2 数据复制
3 数据恢复
某应用的业务数据、日
志和修改信息分别存在
主LUN01、LUN02和主
LUN03中。
没有在主端创建一致性
组。
Huawei Confidential
•
•
在远程复制进行数据同
步的过程中，远程复制
任务02由于故障未能完
成复制。
远程复制任务01和03继
续进行并最终完成了复
制，导致主从端存储系
统数据不一致。
•
•
三个从LUN保存的数据
并非同一个时间点的数
据。
灾难发生后，用从端存
储系统恢复数据，但对
主端存储系统而言数据
失效。
使用一致性组的远程复制
主LUN01
一致性组01
从LUN01
主LUN01
从LUN02
主LUN02
•
•
20
主LUN01
从LUN03
从LUN02
主LUN03
一致性组01
主LUN02
从LUN02
远程复制任务02
从LUN03
主LUN03
从LUN03
远程复制任务03
远程复制任务03
远程复制任务03
1 初始状态
2 数据复制
3 数据恢复
某应用的业务数据、日
志和修改信息分别存在
主LUN01、LUN02和主
LUN03中。
在主端存储系统创建一
致性组01，并将三个远
程复制均添加到一致性
组。
Huawei Confidential
•
•
•
从LUN01
远程复制任务01
远程复制任务02
远程复制任务02
主LUN03
从LUN01
远程复制任务01
远程复制任务01
主LUN02
一致性组01
在数据同步的过程中，
远程复制任务02发生故
障。
一致性组将会立刻停止
远程复制任务01和03。
当故障被排除并恢复正
常状态和，再重新进行
数据的复制。
•
灾难发生后，使用从端
存储系统完成数据的恢
复，数据库的数据僵尸
有效的。
Pair的运行状态

通过查看Pair运行状态，可以及时地根据状态取值对远程复制进行同步、分裂、主从切换等操作，并在操作结束后
判断操作是否成功。
运行状态
正常
分裂
异常断开
待恢复
失效
正在同步
21
Huawei Confidential
状态说明
当Pair运行状态为“正常”时，主LUN和从LUN的数据成功同步完成。
当Pair运行状态为“分裂”时，主LUN和从LUN之间的数据复制暂停。由于业务需要，通过手动断开主LUN和从
LUN之间的Pair关系，则Pair运行状态为“分裂”。
远程复制所用的链路断开或远程复制主LUN或从LUN故障，导致主LUN和从LUN之间的Pair关系断开，则Pair运行
状态为“异常断开”。
Pair异常断开，在故障恢复以后，如果需要以“手动”策略恢复远程复制，则Pair运行状态被标识为“待恢复”，
提示用户需手动进行同步操作，恢复原有主LUN和从LUN的Pair关系。
Pair异常断开后，如果在主端或从端改变Pair属性（例如远程复制链路故障时，在主端或从端删除Pair），导致主
从站点配置不一致，则Pair运行状态为“失效”。
主LUN正在向从LUN同步数据，此时，从LUN不能被读写，如果此时发生灾难，此时的从LUN数据不能用于业务
恢复。当从LUN数据状态为“完整”时，从LUN的数据可用于业务恢复。
异步远程复制多时间点技术
最小3秒一个一致性点
3
4
时间
片T1
Cache
5
Huawei Confidential
每个复制周期启动时在主LUN和从LUN的
缓存中产生新的时间片（T2, P2)；
2
主机新写入的数据缓存在主LUN Cache的
时间片T2中；
2
时间
片T2
22
1
1
异步远程复制
时间
片P2
3 响应主机写完成；
时间
片P1
4 将时间片T1的数据直接复制到从LUN，写
Cache
5
主LUN
从LUN
生产中心
灾备中心
1
入从LUN的时间片P2中；
5 主从LUN各自将收到的数据下盘。
 拷贝时直接从Cache读取数据，时延小。
 快照不需实时更新数据，同步对性能的影
响小，复制周期可缩短到3秒。
远程复制取消从LUN写保护
定义
指从LUN可以接收来自主机的数据。远程复
制配置完成后对主机来说从LUN默认为只读，
如果主LUN出现故障，需要管理员执行“取
消远程复制从LUN写保护”操作，手动设置
从LUN为可写，以便从端存储系统能够接管
主机业务，保证业务持续运行。
从LUN可写功能
生产中心
应用场景
 用户需要使用从LUN进行数据分析、挖掘，
但不愿意影响主LUN业务。
 当生产阵列故障，容灾阵列需要接管业务，
但无法进行正常的主从切换。
容灾中心
同/异步
WAN
复制
SAN
SAN
WAN
存储设备
存储设备
优势
通过从LUN可写功能，可加快业务恢复时间，
从LUN读写后可进行增量同步，使得灾难恢
复后业务可迅速回切。
23
Huawei Confidential
主端发生灾难
从端主机读写容灾数据
多链路冗余技术
本地高可用场
景
站点A
双活LUN
双活LUN
近距离部署
双活成员N
Huawei Confidential
远距离部署
双活成员N
负载均衡模式
24
站点B
优选阵列模式
支持特性
负载均衡
链路FC/IP
数据压缩
FAN-IN/OUT
快速响应
故障切换
25
Huawei Confidential
支持
特性
高低互通
一致性组
配置流程
开始
配置准备
获取远程复制License以及确定主、从存储设备
连接端口类型
检查License文件
当复制链路为IP链路时，用户需要分别在
主从设备创建逻辑端口，且两端逻辑端口
IP地址需要在同一网段，当不在同一网段
时，需要配置路由。
创建逻辑端口
管理路由
创建鉴权用户
增加远端设备前，先在远端设备上创建角
色为“远端设备管理员”的用户，用于鉴
权远端设备。
增加远端设备
创建保护组
创建远程复制Pair
创建远程复制一致性组
结束
26
Huawei Confidential
把需要加入一致性组的主LUN添加到保护
组中，为保护组创建远程复制一致性组，
已创建Pair的主LUN自动识别原从LUN，未
创建Pair的主LUN，自动分配一个从LUN。
图注
必选
可选
中央容灾备份场景

中央容灾备份是指将不同地方的业务数据备份到同一个站点进行集中管理。客户业务数据分散在多个
地点，每一个业务站点的数据需要在中央灾备站点进行集中备份、统一管理和容灾。当灾难发生时，
能够通过中央灾备站点对各业务站点的业务数据进行接管并实现灾后的数据恢复。
主LUN02
远程复制02
从LUN02
WAN
业务站点02
主LUN n
主机
远程复制n
从LUN n
WAN
业务站点n
异步
中央灾备站点
27
Huawei Confidential
目录
1. HyperSnap
2. HyperReplication
3. HyperMetro
4. HyperCDP
5. 其它Hyper系列技术
28
Huawei Confidential
简介
 HyperMetro特性又称双活特性。
 双活特性中的两个数据中心互为备份，且都处于运行状态。
 当一个数据中心发生设备故障，甚至数据中心整体故障时，业务自动切换到另一个数据中
心。
A数据中心
29
Huawei Confidential
B数据中心
双活组网示意图
生产中心A
生产中心B
WAN
业务网络
应用
服务器
应用
服务器
10GE
交换机
10GE
交换机
双活私有网络
华为存储
OceanStor
华为存储
OceanStor
仲裁服务器
30
Huawei Confidential
IP管理网络
IP业务网络
数据写IO流程
主机
Write IO
1
5
跨站点双活AA集群
A阵列
B阵列
2
4
双活成员LUN
31
Huawei Confidential
双活LUN
3
4
3
双活成员LUN
HyperMetro数据读IO流程
应用服务器
1
5
双活管理模块
2
32
Huawei Confidential
3
4
4
本端
LUN
远端
LUN
数据中心A
数据中心B
快速初始/增量数据同步
华为精简拷贝方案
通用数据同步方案
Site A storage
A
B
C
D
H G
F
E
0
0
0
0
0
0
0
0
0
0
0
0
I
J
K
L
Site B storage
Full copy 8 blocks
Full copy 12 blocks
Full copy 4 blocks
Site A storage
B
C
D
A
B
C
D
H G
F
E
H G
F
E
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
I
J
K
L
I
J
K
L
A
全量拷贝的”非零”数据块
Site B storage
Full copy 8 blocks
Send One Command
Full copy 4 blocks
A
B
C
D
H G
F
E
0
0
0
0
0
0
0
0
0
0
0
0
I
J
K
L
“零拷贝”的”零页面”数据块
全量拷贝的”零页面”数据块

通用方案：数据同步时，不识别“全零数据”，

据”，只传输一个特殊标识，不传输数据
逐块拷贝所有数据

数据初始同步占用带宽高、传输时间长
精简拷贝方案：数据同步时，智能识别“全零数

数据初始同步时间减小90%，数据初始同步链路带
宽占用减小90%
33
Huawei Confidential
跨站点坏块修复

硬盘在使用过程中可能因为掉电等异常情况出现坏块，如果是可修复错误但是本端
已经无法修复时，HyperMetro将自动从远端阵列获取数据，修复本地数据盘的坏块，
进一步提高系统的可靠性。
34
Huawei Confidential
FastWrite

传输协议优化
Traditional write process
Host
Storage
Write process of Huawei (A-A) solution (write FastWrtie)
Storage
Host
Host
Storage
100KM
① Write Command
8G FC/10GE
① Command
② Ready
③ Data Transfer
③ Data Transfer
④ Write Command
RTT-1
RTT-2
⑧ Status Good
35
Huawei Confidential
Host
100KM
② Transfer Ready
Site 1
Storage
Site 2
8G FC/10GE
④ Write Command
& Data Transfer
RTT-1
⑥ Status Good
Site 1
Site 2
双活业务状态转换
正常
故障
暂停
同步完成
同步
同步
暂停
同步中
待同步
同步
强制启动
强制启动
36
Huawei Confidential
双活成员
N
强制启动
为什么需要仲裁
双活链路故障
设备故障
X
阵列 A
37
Huawei Confidential
X
阵列 B
阵列 A
阵列 B
为什么需要双重仲裁
X
X
阵列A
38
Huawei Confidential
阵列B
阵列A
阵列B
X
X
仲裁
仲裁
双活仲裁机制
第一重：仲裁服务器模式
仲裁部署
•
原理：心跳不通时，仲裁服务器发起仲裁，仲
裁获胜的一方继续提供服务，仲裁失败方停止
存储资源池
服务，优先站点具有仲裁优先权
X
优先站点判定
②
存储阵列A
X
①
仲裁设备
39
Huawei Confidential
存储阵列B
第二重：静态优先级模式
• 原理：心跳不通时，预先设置的优先方存活。
配置双活流程
以华为OceanStor全闪存存储产品为例
开始
创建双活域
检查License
为LUN创建双活
创建LUN
创建LUN组
*创建逻辑端口
创建双击Pair
创建双活一致
性组
*管理路由
创建映射关系
添加鉴权用户
添加远端设备
40
为LUN组创建双活
Huawei Confidential
结束
本地数据中心部署场景
本地数据中心
主机
Oracle RAC集群
Vmware vSphere集群
FusionSphere集群
主机
主机
FC/IP SAN
FC/IP SAN
存储系统
存储系统
双活复制链路：FC/IP
IP
IP
仲裁服务器
41
Huawei Confidential
主机
目录
1. HyperSnap
2. HyperReplication
3. HyperMetro
4. HyperCDP
5. 其它Hyper系列技术
42
Huawei Confidential
简介

随着信息技术的不断发展，全球数据不断增长，传统的数据备份方案面对海量数据的数据保
护诉求已越来越面临挑战：


备份数据量大、数据快速增长。

备份窗口要求越来越小。

备份过程不能影响生产系统的性能。

用户对RPO/RTO要求越来越高。
当前华为OceanStor全闪存存储产品快照是可写快照，单LUN最多支持1K个快照，已无法满
足用户关键应用对于连续数据保护的诉求，需要提供规格更高、保护周期更密集的备份手段。

43
HyperCDP正是为此而生，它是一种高密快照技术，可为用户提供持续的数据保护功能。
Huawei Confidential
HyperCDP功能原理

定义：HyperCDP是一种高密快照特性，可为用户提供持续的数据保护功能。
HyperCDP的主要特点包括：

44

数据保护密集、持久。单LUN支持6万个HyperCDP，最短定时间隔支持3秒。

秒级保护，性能无损，占用存储空间少。

内置定时计划功能，支持间隔、天、周、月4种定时策略。

支持HyperCDP一致性组。

不能直接映射主机读写，可通过创建副本转换为可写快照映射给主机。
Huawei Confidential
HyperCDP读写原理

HyperCDP不能直接映射主机读写，需提升为可写快照后映射至主机。
CDP0
源LUN
CDP1
创建快照副本

第一次映射
映射
主机
SNAP0
CDP0
源LUN
CDP1
重建快照

45
第二次映射
Huawei Confidential
映射
主机
SNAP0
HyperCDP回滚主机未修改数据

回滚HyperCDP的过程是将HyperCDP的数据拷贝至源LUN的过程。启动回滚后，源LUN支持
立即使用（源LUN的数据即为HyperCDP的数据）。
源LUN
T1
①
L0
L1
① 主机读L1
B’
③
②
CDP1
T0
L0
L1
46
Huawei Confidential
A
B
② L1未回滚且启动回滚后主机没
有写过，重定向读CDP1(T0)数据
③ 返回“B”给主机
HyperCDP回滚主机已修改数据
源LUN
T1
L0
L1
A’
B’
源LUN
① 主机写L1，写入C
T1
CDP1
T0
L0
L1
L0
A
B
L1
A
C
T0
L0
L1
47
Huawei Confidential
A
B
② 回滚L0
A
B
L0
L1
源LUN
④ 回滚完成
T1
CDP1
T0
L1
CDP1
源LUN
T1
A’
C
L0
L0
L1
A
C
CDP1
T0
L0
L1
A
B
③ 回滚L1，发
现主机已写过，
放弃回滚L1
HyperCDP一致性组

背景：在大中型数据库应用中，数据、日志、修改信息等存储在磁盘阵列的不同LUN中，缺少其中一
个LUN的数据，都将导致其他LUN中的数据失效，无法继续使用。通过HyperCDP一致性组功能，可实
现在数据恢复时应用数据的一致性。

功能：与单个 HyperCDP 一样， HyperCDP 一致性组支持创建、删除、回滚、停止回滚操作，支持对
HyperCDP一致性组创建快照一致性组副本，支持基于HyperCDP一致性组重建快照一致性组。
CDP1
LUN1
LUN1
LUN2
LUN2
CDP2
快照1
快照2
CDP1-1
CDP2-1
创建保护组
48
Huawei Confidential
创建CDP一致性组
创建快照一致性组副本
HyperCDP定时计划

定时HyperCDP 计划的内容包括间隔、天、
周、月4种策略，每个策略可以设置不同
的保留个数，间隔、天、周、月策略可
以复选。

同一个定时HyperCDP 计划支持添加多个
LUN 和 LUN 一 致 性 组 ， 同 一 个 LUN 或
LUN 一 致 性 组 只 能 添 加 至 一 个 定 时
HyperCDP计划。

定时 HyperCDP 计划最小的间隔周期为 3
秒，最大保留个数为60000。
49
Huawei Confidential
HyperCDP存储池容量阈值

背景：由于定时HyperCDP计划创建HyperCDP的最小间隔为3s，持续写源LUN可能
会产生大量的数据保护容量导致存储池容量耗尽，进而影响源LUN的主机业务。

功能：

系统支持对存储池的已使用容量和保护容量分别设置容量阈值，通过定时数据保护自动删
除开关控制容量阈值是否生效。

容量阈值开关默认关闭，建议用户配置HyperCDP时将容量阈值开关打开。

容量阈值功能只删除定时HyperCDP计划创建的HyperCDP，不会删除用户手动创建的
HyperCDP。
50
Huawei Confidential
配置流程
开始
1. 检查
HyperCDPa功能
的可用性
2. 创建
HyperCDP或
HyperCDP一致
性组
检查License
创建保护组
创建LUN
创建Hyper一致性组
创建HyperCDP
结束
图注
51
Huawei Confidential
必选项
可选项
数据挖掘和测试场景

对HyperCDP创建快照副本，对快照副本进行读写，可以达到数据挖掘和测试的目的，同时，不会对业务数据产生影响：

对需要测试的数据生成某一个时间点（上午11点）的HyperCDP；

使用测试服务器直接对HyperCDP创建快照副本，对快照副本进行测试（读写快照副本），此测试过程并不会对源数据和源数据上运行的业务造成任
何影响；

一个小时后，源数据和快照副本数据各自基于11点的数据演变为不同的两份数据；

测试完成后，用户还可以通过对HyperCDP创建快照副本重新获取11点的数据，并使用新的副本重新进行测试。
Data 11:00 AM
Applications
server
Data 12:00 AM
Applications
I/Os
Create snap’s
duplicate
Test I/Os
Test server
Snap 11:00 AM
11
52
Huawei Confidential
Tested data 12:00 AM
12
An other snap 11:00 AM
Time
目录
1. HyperSnap
2. HyperReplication
3. HyperMetro
4. HyperCDP
5. 其它Hyper系列技术
53
Huawei Confidential
HyperMirror

卷镜像是一种数据冗余备份技术，可以为一个LUN创建多个镜像物理副本，对 LUN
提供持续的冗余备份保护，从而提高单个LUN的可靠性和可用性。
Host
Mirror LUN
Mirror LUN的元数据
meta Data
MirrorCopy 1
Volume
54
Huawei Confidential
Cache
Volume
Dcl 2
Dcl 1
MirrorCopy 2
Volume
HyperLock

HyperLock特性又叫WORM特性，通过一次写入多次读取技术，保障原始数据在存储介质中的完整性、
保密性及可存取性，满足日益增长的数据安全存储需求。
手工设置锁定或者过期自动锁定
初始状态
延长保护期
重置保护期
锁定状态
过期状态
保护时间过期
手工设置追加状态
(条件：文件大小为0)
手工设置锁定状态
追加状态
55
Huawei Confidential
手工设置追加状态
(条件：文件大小为0)
HyperVault

阵列系统自带的基于文件系统快照的备份技术，可以实现本地和远程数据备份和恢
复。
Backup center
Production center
NAS
local backup
IP/FC network
Remote backup
OceanStor 存储系统
56
Huawei Confidential
NAS
OceanStor 存储系统
思考题
1.
（判断题）华为OceanStor全闪存双活必须配合BCManager eReplication部署。
2.
（判断题）华为OceanStor全闪存双活仲裁软件支持部署在虚拟化平台。
3.
（多选题）双活复制链路类型有（
A. FC
B. FCoE
C. IP
D. IB
57
Huawei Confidential
）
本章总结
HyperSnap
HyperReplication
Hyper系列技术与应用
HyperMetro
HyperCDP
其它Hyper系列技术
58
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
59
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
60
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
Smart系列技术与应用
前言

华 为 存 储 通 过 Smart 系 列 技 术 提 供 了 多 种 性 能 调 优 和 资 源 调 优 技 术 ， 例
如 :SmartVirtualization 、 SmartQuota 、 SmartPartition 、 SmartCache 等，为
不同的应用场景提供了相应的解决方案。
1
Huawei Confidential
目标

2
学完本课程后，您能够：

了解Smart系列技术的概念、应用场景

了解Smart系列技术的工作原理

掌握Smart系列的配置方法
Huawei Confidential
目录
1. SmartPartition
2. SmartQuota
3. SmartVirtualization
4. 其它Smart系列技术
3
Huawei Confidential
简介

SmartPartition将读写缓存等主要资源进行划分，并将不同业务LUN/FS 添加到其中，
以达到业务隔离的效果。（每个SmartPartition的资源访问相互独立，互不干扰)
4

SmartPartition可以实现不同业务LUN/FS的业务和性能的最佳匹配。

SmartPartition可以保障关键应用的性能，减少受其他业务的影响。
Huawei Confidential
技术原理

用户可以以业务 LUN 或 FS 为
应用服务器1
应用服务器2
……
应用服务器n
单位设置 SmartPartition ，每
个 SmartPartition 的资源只能
……
被本分区的LUN或FS访问。
业务1
业务2
……
业务3
缓存资源
SmartPartion SmartPartion
分区1
分区2
5
Huawei Confidential
……
SmartPartion
默认分区
配置流程
参数名称
开始
引擎
参数说明
参数设置
新创建SmartPartition所 如：StorageEngine000
在的引擎。
新创建SmartPartition的 [取值范围]
1、检查
SmartParition功能
的可用性
2、检查
SmartParition
检查
SmartParitionLicense
读缓存容量。
•不能超过可用读分区容量。读分区
取值至少为256MB并且必须是
读分区大小
128MB的整数倍，当取值不足整数
倍时，系统将自动修改为符合条件
的取值。
创建SmartParition
新创建SmartPartition的 [取值范围]
写缓存容量。
•不能超过可用写分区容量。写分区
取值至少为256MB并且必须是
结束
写分区大小
128MB的整数倍，当取值不足整数
倍时，系统将自动修改为符合条件
的取值。
6
Huawei Confidential
多业务场景

多业务系统中确保核心业务性能

随着存储系统的性能和容量不断增强增大，将多个应用同时部署在一台存储系统上，不仅简化用户的存储系统架构，
还能减少配置和管理成本。但可能会争抢存储资源，导致各业务的性能受到严重影响。

通过SmartPartition特性可以为不同的业务指定不同的缓存分区，满足关键业务的运行要求。

根据生产系统和测试系统的I/O读写频率设置一个合理的读缓存和写缓存，提升生产系统的I/O读写性能的同时，也
不会影响测试系统的正常运行。

为生产系统创建SmartPartition1（例如读缓存20GB，写缓存10GB），该读写缓存容量完全满足生产系统频繁的I/O读写性能要
求。

为测试系统创建SmartPartition2（例如读缓存15GB，写缓存8GB），确保测试系统的正常运行，且不影响生产系统的性能。
同一套存储系统上同时运行着生产系统和测试系统，业务特征如下：
7
Huawei Confidential
业务类型
业务特征
生产系统
频繁的I/O读写
测试系统
较为频繁的I/O读，I/O写相对少
目录
1. SmartPartition
2. SmartQuota
3. SmartVirtualization
4. 其它Smart系列技术
8
Huawei Confidential
简介

配额提供了一种资源管控的手段
Host

限制单个目录、用户、用户组的资源用
量
I/O

防止个别使用者过度占用容量空间、文件
数资源，避免影响其他使用者
NAS共享
9
Huawei Confidential

通过告警、事件将资源用量提醒给使用者
Quota术语表
中文
Huawei Confidential
中文定义/描述
Directory Tree
目录树，文件系统中的一种特殊目录，只
有在Dtree目录上才可以设置配额并完成
容量空间和文件数的资源限制
Soft Quota
Soft Quota
软配额，一旦用户使用的资源超过该值，
系统产生告警；反之，已用资源从高于软
配额变为低于，则消除告警
Hard Quota
Hard Quota
硬配额，用户可使用的最大资源数量，用
户使用的资源不会超过该值
Dtree
10
英文
在Dtree目录上进行资源管控
支持在Dtree目录上进行资源管控
Dtree目录额外记录资源用量、配
额限制元数据信息
IO过程中进行资源用量的更新和配
额检查
11
Huawei Confidential
Dtree的资源用量
Dtree 1
| ---- confFile.conf (2MB, usr 3, grp 5)
| ---- run.dat (1MB, usr 3, grp 8)
| ---- doc (0B, usr 4, grp 8)
|
|
12
Huawei Confidential
| ---- study.doc (5MB, usr 7, grp 9)
Dtree 1
容量
文件数
目录
8MB
4
3
3MB
2
4
0
1
7
5MB
1
5
2MB
1
8
1MB
2
9
5MB
1
用户
用户组
配额类型
FS文件系统
(0号dtree）
O
目录配额
13
Huawei Confidential
其他dtree
默认目录配额
O
用户配额
O
O
默认用户配额
O
O
用户组配额
O
O
默认用户组配
额
O
O
Dtree的配额限制
配置项：容量软配额、容量硬配额、文件数软配额、文件数硬配额
软配额不能超过硬配额；至少需要配置一个配额项
配额限制
容量软配额
容量硬配额
文件数软配额
文件数硬配额
私有
6MB
10MB
-
-
3
4MB
5MB
5K
6K
4
-
-
1K
2K
8
1MB
-
2K
-
目录
用户
用户组
14
Huawei Confidential
IO过程中进行配额检查

Protocol Server
配额特性在每一个I/O写操作中，都会检查本
次操作所消耗的空间容量、文件数是否会超
过硬配额

File System
拒绝本次I/O写操作，发送超硬配额事件，向
用户返回空间不足错误
IO
NO
used + delta
< hard quota
Quota Check
若资源新增量加上已用量会超过硬配额，则
YES

若硬配额检查通过，则将资源新增量累加到
已用量上

另外，若新增量加上已用数据超过软配额，
则进行告警
Cache

删除数据或文件成功后，若检查到已用资源
从高于软配额变为低于软配额的90%，则进
行告警消除
15
Huawei Confidential
配额管理创建流程
 创建目录配额
 删除、修改目录配额
 报告/批量报告
步骤1
Dtree
产品1
管理
 创建Dtree
 删除Dtree
 批量查询Dtree
16
Huawei Confidential
 创建主机用户/用户组
 修改、查询、删除主机
用户/用户组
用户/用
步骤3
户组配
产品3
额管理
目录配
步骤2
产品2
额管理





步骤4
共享
产品4
管理
创建认证用户/用户组
修改、查询、删除认证用户/用户组
创建用户/用户组配额
删除、修改用户/用户组配额
报告/批量报告
目录配额场景
用户A的目录
（Dtree 1）
NAS
经理A
项目组A的目录
（Dtree 2）
Share
销售部的目录
（Dtree 3）
工程师A
工程师B
……
销售员A
销售员B
……
经理A
17
Huawei Confidential
工程师A
工程师B
……
销售员A
销售员B
……
通过将不同的Dtree规划给企业
内的各个不同部门甚至个人来使
用。这样，只需要配置每个
Dtree的目录配额，就可以限制
每个企业内部各使用者的资源
目录
1. SmartPartition
2. SmartQuota
3. SmartVirtualization
4. 其它Smart系列技术
18
Huawei Confidential
简介

SmartVirtualization特性又叫异构虚拟化特性，是指本端存储系统与异构存储系统相互连接
后，本端存储系统能够将异构存储系统提供的存储资源当作本地存储资源进行使用并对其进
行集中管理，无需关注存储系统间软件架构和硬件架构的差异。
目的和受益
详细说明
由于SmartVirtualization特性解决了不同存储系统之间的兼容性问题，用户可
兼容异构存储，简化存储管理
以通过本端存储系统直接管理异构存储系统的存储资源，无需在多个存储系统
中分散操作和维护，简化存储管理方式。
使用SmartVirtualization特性后，用户可以接管异构存储系统的存储资源，并
整合设备空间，简化空间分配
通过本端存储系统管理和分配异构存储系统的存储空间，简化不同存储系统的
空间分配操作，将多个存储系统的存储资源进行整合。
19
Huawei Confidential
主要特点
主要特点
良好的兼容性
占用存储空间少
优异的功能扩展
20
Huawei Confidential
详细说明
本端存储系统可以兼容主流的异构存储系统，便于存储资源的集中规划和管理。
本端存储系统使用异构存储系统中的LUN（以下简称为外部LUN）提供的存储空间时，
并不会做完整的物理数据镜像，所以不会占用本端存储系统大量的存储空间。
对于外部LUN，本端存储系统不仅可以将其当作本地资源使用，也可以对其配置
SmartMigration特性，以满足业务数据更高的安全性和可靠性等需求。
eDevLUN与外部LUN的关系

eDevLUN由实际数据和元数据两部分组成，通过映射关系建立元数据和实际数据的对应关系。
映射关系1
eDevLun 1
映射关系n
应用服务器
eDevLun n
元数据 1
元数据 n
外部LUN 1
外部LUN n
存储池
本端存储系统
21
Huawei Confidential
异构存储系统空间
原有存储系统
数据读流程

使用SmartVirtualization 特性对异构存储系统中的外部LUN 进行托管后，当应用服务器下发读取外部
LUN数据请求时，本端存储系统的eDevLUN收到数据读取请求后从异构存储系统的外部LUN中读取。
应用服务器
①
③
① 应用服务器下发读取数据请求
② 本端存储系统收到读请求，从异构存储系统中读取数据
eDevLun
②
③ 从异构存储系统读取数据返回给本端存储系统，再返回
外部LUN
给应用服务器
本端存储系统
22
Huawei Confidential
原有存储系统
数据写流程

使用SmartVirtualization特性对异构存储系统进行托管后，数据写流程如下：
数据写请求响应
数据流
物理连线
①
④
外部LUN
③
②
eDevLUN
① 应用服务器将数据写入本端存储系统
② 本端存储系统将数据写入异构存储系统
③ 异构存储系统将写成功响应反回给本端存储系统
④ 本端存储系统将写成功响应返回给应用服务器
23
Huawei Confidential
离线接管和在线接管
未配置LUN伪装属性
配置LUN伪装属性
读写I/O
步骤2：断开应用服务器
与异构存储系统的连接，
数据传输中断，业务暂停
步骤3：建立应用服务器
与本端存储系统的连接，
由本端存储系统接管业务
步骤2：断开应用服务器
与异构存储系统的连接，
数据中断不影响业务运行
映射关系
SmartVirtualization
异构存储系统
本端存储系统
步骤1：建立本端存储系统与异构存储系统的链接
24
Huawei Confidential
步骤3：建立应用服务器与本端
存储系统的连接，应用服务器
识别到伪装后的eDevLUN
映射关系
SmartVirtualization
异构存储系统
本端存储系统
步骤1：建立本端存储系统与异构存储系
统的连接，接管异构存储系统数据业务
接管方式的选择

SmartVirtualization特性提供离线接管和在线接管两种方式对异构存储系统进行接管，而在
线接管又分为配置基本伪装接管、配置扩展伪装接管和配置第三方接管。选择哪种接管方式
由异构存储系统的厂商及版本、多路径软件的厂商及版本等决定。
接管方式
是否伪装
说明
适用于所有兼容的其他华为异构存储系统及
离线接管
不伪装
第三方厂商的异构存储系统，离线接管需要
暂停应用服务器业务。
基本伪装和扩展伪装的选择与选择的多路径
在线接管
25
Huawei Confidential
基本伪装或扩展
厂商及版本、其他华为异构存储系统的版本
伪装
有关，具体请根据版本查看相关产品文档。
配置流程
开始
当异构存储系统为华为存储系统时，
检查Licence文件
1、检查SmartVirtualization功能可用性
无需执行该操作
安装部署
2、完成本端存储系统和异构
存储系统的硬件连接
添加路由
3、建立异构存储系统和本端
配置异构存储系统
存储系统的逻辑连接并扫描
增加外部存储
LUN
4、通过创建eDevLUN对异
配置异构存储系统
扫描外部LUN
构存储系统进行集中管理
扫描外部LUN
配置与使用
eDevLUN
创建eDevLUN
建立eDevLUN与主
必选项
26
Huawei Confidential
可选项
结束
机的映射关系
异构存储与本端存储采用iscsi连接且
需要跨网段通信时，需要执行该操作
业务数据迁移至新购存储系统场景

由于业务不断增长，需要存储的数据量越来越多，原有存储系统的容量已经无法满足数据存储容量和性能的需求。
此时，用户可以通过购买容量更大、性能更高的存储系统，将原有存储系统进行升级换代。由于两套存储系统的软
件和硬件都会存在差异，数据迁移过程可能会出现业务中断甚至数据丢失的风险。通过使用SmartVirtualization特
性可以屏蔽两套存储系统的差异，将原有存储系统中的外部LUN映射成新购存储系统中的eDevLUN，然后配合使用
SmartMigration特性，业务数据就能从原有存储系统中完整可靠的迁移至新购存储系统中，且保持业务的连续运行。
LUN（冷数据）
原有存储系统
新购存储系统
数据迁移
（SmartMigration）
外部LUN
eDevLUN
映射关系（SmartMigration）
27
Huawei Confidential
目录
1. SmartPartition
2. SmartQuota
3. SmartVirtualization
4. 其它Smart系列技术
28
Huawei Confidential
SmartCache
OLTP应用
数据库服务器
Web服务器
文件服务器
SmartCache特性适用于存在热点数据且以读操作为
主的随机小I/O场景。应用SmartCache特性可以大
IP网络
FC网络
幅提升系统的读性能。
普通缓存资源（RAM Cache）
场景
智能缓存池
数据库应用
SSD盘
机械硬盘
缓存系统
热点数据
非热点数据
29
Huawei Confidential
热点数据流
非热点数据流
主要特点
I/O大小为8KB。
随机读应用占70%。
读性能提升
3倍左右。
SmartMulti-Tenant

通过多租户特性可以根据用户业务类型，以单一系统与服务为不同的级别的租户提
供可定制化的服务。根据租户需求，可以创建SmartQoS、SmartPartition等策略，
合理分配存储资源，并且优先保证高级别用户的业务运行和业务质量要求。
钻石用户
30
铂金用户
金牌用户
银牌用户
铜牌用户
关键性能应用，对延
迟非常敏感
关键任务OLTP和ERP
应用
主流商业应用，对写
操作要求高
决策支持，数据仓库， 归档、文件和打印服
消息与协作应用等
务等
定制SmartQos和
SmartPartition策略
定制SmartQos和
SmartPartition策略
定制SmartPartition策
略
定制SmartPartition策
略
Huawei Confidential
无
SmartQos
存储管理员
概念

租户Qos控制
关键业务隔离
Qos:200MB/s
Tenant A
FS1
FS1
FS2
Qos:800MB/s
Tenant B
200MB/s
FS3
FS2
800MB/s
FS3
Qos:2GB/s
Tenant C
FS1
1GB/s
FS2
700MB/s
FS3 300MB/s
用于多租户多业务混合应用场景。
租户级Qos控制

创建租户级Qos Policy，设定租户级IOPS/带宽的Qos控制指标

将租户内的文件系统加入该Qos Policy完成控制。
文件系统Qos控制

一般业务性能冲高，关键业务受影响
创建文件系统Qos Policy，设定文件系统级IOPS/带宽的Qos控
制指标。
启动限流策略
限制一般业务性能，
避免扰邻
为不同的业务指定不同性能目标，以满足关键业务的运行，适

将某文件系统加入该Qos Policy完成控制。

租户级Qos和文件系统Qos可同时生效，形成2级Qos控制，文
件系统的性能达到文件系统Qos或租户级Qos均会进行性能控
制。
31
Huawei Confidential
SmartDedupe & SmartCompression
写数据
1
2
模式识别
指纹表
本地热指纹表
指纹计算
5
机会表
检查本地指纹表
No：新数据
匹配？
3
在线重删返回指纹
4
压缩&压紧
更新物理地址
32
Huawei Confidential
6
后台定长重删
或相似重删
字节级变长后台重删
在线和后台，定长与变长自适应重删
特征数据
缩减
强制在线
重删
软硬件自适应
压缩
自适应定长
重删
定长+变长重删
参考块：保存完整数据内容
同一部分
不同的部分
数据相同
部分相同，512B偏移
数据源
相似块：存储内容差异
字节级偏移相同
定长块：保存引用计数
任何位置相同
支持定长模式和变长模式的混合重删
33
Huawei Confidential
自适应变长
重删
重复数据删除
在线数据压缩
按字节压紧技术
输入8KB块
输入数据
压缩
数据压缩
打包到4MB Chunk
B1
原来
数据布局
1KB
B2
B3
3KB
B4
5KB
7KB
B5
9KB 10KB
空间浪费
B1
优化
数据布局
34
Huawei Confidential
1KB
B2
B3
3KB
B4
B5
5KB 6KB
元数据偏移
思考题
1.
（判断题）用户可以以业务LUN或FS为单位设置SmartPartition，每个SmartPartition
的资源只能被本分区的LUN或FS访问。
2.
（多选题）以下关于文件系统Qos的描述中，正确的选项有哪些（
）
A. 创建文件系统Qos Policy时，需要设定文件系统级IOPS/带宽的Qos等控制指标。
B. 文件系统需要加入该Qos Policy完成控制。
C. 租户级Qos和文件系统Qos可同时生效，形成2级Qos控制。
D. 文件系统的性能达到文件系统Qos或租户级Qos均会进行性能控制。
35
Huawei Confidential
本章总结
SmartPartition
SmartQuota
Smart系列技术与应用
SmartVirtualization
其它Smart系列技术
36
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
37
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
38
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
分布式存储技术与应用
前言

企业不断扩展业务边界，整合云场景存储资源、以更低TCO、更灵活的弹性部
署应对非结构化数据快速增长。华为分布式存储既具备云基础架构的弹性按需
服务能力、又满足企业级关键业务和新兴业务需求。

本章节主要介绍华为分布式存储产品的功能特性，包括块服务特性、对象服务
特性、大数据服务特性和文件服务特性。
1
Huawei Confidential
目标
2

学完本课程，您将能够：

了解块服务特性

了解对象服务特性

了解大数据服务特性

了解文件服务特性
Huawei Confidential
目录
1. 块服务特性
2. 对象服务特性
3. 大数据服务特性
4. 文件服务特性
3
Huawei Confidential
重删压缩
block1
Opportunity
table
HASH-A
2 数据块指
纹进入机
会表
通过机会
表过滤重
复度不高
的数据
待压缩
队列
block2
压缩引擎
block3
HASH-B
压缩率低速度高
3
1 写入数据块
Fingerprint
table
block1
block2
block4
block5
block6
4
从机会表
提升到指
纹表
blockA
4 重删后指向
指纹表中的
数据
Huawei Confidential
HASH-A
指纹表内存占
用少，可支撑
更大容量系统
的重删
压缩后
数据
压缩率高速度低
QoS
应用服务器1
主机0
令牌桶0
应用服务器2
主机1
令牌桶1
I/O请求
I/O请求
存储系统
卷1的I/O队列
令牌
桶1
……
IOPS上限
1000
QoS策略0
卷N的I/O队列
卷0
基于负反馈的自适应算法
5
Huawei Confidential
令牌
桶n
基于卷的IO流控管理算法
硬盘
一致性快照
虚拟机
工作原理
1.
2.
3.
4.
快照保护某个时间点的完整数据副本
新写入数据以LUN最新时间点
读取数据会从最近的一个时间点上获取
如果快照被删除，且被新时间点更新过，
对应空间会被回收
E
F
snapshot2
T1
C
6
0
Huawei Confidential
2
3
4
5
华为OceanStor分布式存储
T0
B
1
一致性快照（Vol1@Snap, Vol2@Snap2）
T2
snapshot0 A
存储空间
Cinder
T3
G
D
snapshot1
Vol2
整机备份操作（VM）
Nova
LUN
Vol1
6
7
VBS
OSD
MDC
克隆
工作原理

创建的克隆共享源快照的数据

克隆新写入的数据单独分配空间

分裂完成后，拷贝克隆的数据至独
源快照
克隆
LUN1
A
B
C
克隆
LUN2
D
D’
立的物理空间
源快照
A
7
Huawei Confidential
B
C
克隆
LUN
D
A
B
C
E
异步复制
复制集群 A
node1
node2
node3
Async Replication
deltaData
node1
deltaData
node2
deltaData
node3
node4
deltaData
8
Huawei Confidential
复制集群B
node4
双活
主
机
主
机
应用集群
3. 主机
下发IO2
1. 主机
下发IO1
跨站点双活AA集群
双活卷
5. 冲突IO2转发
4. 双写IO2，根
据范围锁检测
到冲突
双活成员卷
数据中心 A
9
Huawei Confidential
6. IO1处理
完毕后，再
处理IO2
2. 双写IO1，并
在两端对IO1范
围加本地锁
双活成员卷
数据中心 B
块服务与K8S集成方案应用场景
Kubernetes Master
driver-registrar
CSI plugin
external-provisioner
① ②
Kubernetes Node
driver-registrar
华为分布式存储
Container
SCSI/iSCSI
external-attacher
CSI plugin
Block dev
③
Kubernetes Node
driver-registrar
CSI plugin
10
Huawei Confidential
external-attacher
CSI plugin
管理面
数据面
目录
1. 块服务储特性
2. 对象服务特性
3. 大数据服务特性
4. 文件服务特性
11
Huawei Confidential
小对象在线聚合
Obj1
Obj2
Obj3
Obj4
Obj5
Obj6
Obj7
…
Strip1
Strip2
Object data 聚合
Strip3
Strip4
校验1
校验2
512K
以4+2为例
Online Erasure Coding
Cache
…
server node
12
Huawei Confidential
Cache
…
server node
配额和资源统计
对象存储
100TB
20TB
租户1
总经理
40TB
租户2
财务部
40TB
租户3
人事部
10TB
13
Huawei Confidential
2TB
10TB
8TB
5TB
员工a
员工b
员工c
员工d
桶-1
桶-2
桶-3
桶-4
访问权限控制
授予下载权限
账户A
账户C
禁止所有操作
禁止写权限
用户A-1
授予读权限
用户A-2
授予读写权限
账户A
桶所有者
账户B
除查看桶内对
象清单外，可
执行任何操作
10.0.0.0网段
下的所有用户
可读可写
只读
无法执行
任何操作
或
桶
Huawei Confidential
或
对象
ACL
14
账户B
桶所有者
禁止查看桶
内对象清单
桶
对象
Bucket Policy
只能执行
下载操作
多租户
SMBs
租户 A
租户 B
数据中心
15
Huawei Confidential
租户 C
QoS
对象存储
QoS策略：
100MB/s
QoS策略：
1MB/s
QoS策略：
1000 TPS
QoS策略：
10 TPS
bucket1
VIP1
16
Huawei Confidential
普通用户
bucket2
对象级重删
图例：
租户(开启重删）
17
Huawei Confidential
租户(未开启重删）
桶
WORM
可读、可修改、可删除
未保护状态
可读
启动WORM策略
创建WORM策略
后，24小时内未
激活该策略
保护时间到期
保护过期
可读、可删除
18
Huawei Confidential
保护状态
远程复制
使用统一域名访问，
无需感知多DC的域名
S3
client
原理：
1.
数据存储方式：同一个对象在DC之间采用副本方式存储，
DC内部采用EC方式存储
DC2（备）
DC1（主）
bucket 1
异步复制
bucket 2 25/10GE
2.
QoS控制：支持基于桶或租户设置带宽、TPS QoS，限高
3.
可视化：管理界面可直观展示多DC拓扑图，复制任务、进
度、网络情况等
WAN
…
•
…
Cluster A
对象存储
Cluster B
对象存储
主、备桶名一致，故障发生后，主备切换对应
用无感知
•
唯一支持基于复制性能的QoS控制，保障高优
先级应用性能
19
Huawei Confidential
对象与文件互通
NFS Client
S3 Client
Object
File
①标准NFS接口
功能全尺寸
文件
NFS ProtocolInterworking
③标准S3接口
Object Service Layer
• 功能描述：协议互通场景，“主”存
储服务功能全面，“辅”存储服务用
对象(主) ⇌ 文件
功能精简
于满足特定场景基本读写访问需求。
⑤对象元数据
④对象数据
Object Index Layer
对象(主) ⇌ NFS文件
电子票据影像
新旧业务系统并存，逐步对象化改造
Persistence Layer
对象(主) ⇌ 文件
20
Huawei Confidential
HDFS(主) ⇌ NFS文件
(v 8.0.3)
自动驾驶训练
海量数据导入、训练、分析，0迁移
对象服务视频监控云方案应用场景
每15秒产生1MB数据/摄像头，7*24小时
……
7*24小时
不间断上
传
住户
安全
亲情
维系
宠物
喂养
12PB
容量
① 视频传输到
流媒体平台
流媒体服务器
弹性云服务器ECS
②
视频流
转到分
析平台
② 原始视频
存入对象存储
42Gbps流量/摄像头
视频浓缩服务器
弹性云服务器ECS
⑤ 按时间删除视频
Huawei Confidential
Web Server（展示）
弹性云服务器ECS
③视频浓缩后
④ 视频查询
存入对象存储
对象存储
21
18万在线用户，3/7/15天滚动删除，10%回
看
48.06Gbps
带宽
6亿次/天
IOPS
并发带宽：2.67Gbps/万在线
9000个用户存储IOPS高达3000万次/天
写入/删除延时<500ms，读取延时<200ms
目录
1. 块服务储特性
2. 对象服务特性
3. 大数据服务特性
4. 文件服务特性
22
Huawei Confidential
大数据存算分离解决方案
一体化部署
离线分析
日志留存
存算分离部署
经营分析
经营分析
日志留存
离线分析
大数据组件
大数据组件
原生
HDFS
协议
管理节点 计算存储节点
计算存储节点 计算存储节点
Hadoop集群
23
Huawei Confidential
管理节点
计算节点
Hadoop计算集群
存储节点
存储节点
大数据存储集群
分级存储
计算层
按应用分级
不同目录数据可写入不同的资源
交互式查询集群
近线检索/离线分析集群
历史数据检索集群
池，一套存储池支持多种大数据
生命周期
管理层
应用
数据生命周期管理（数据分级、数据迁移、分布查询）
数据自动迁移
用户自定义迁移策略，实现冷热
资源池管理层
热
温
自动迁移
冷
数据的自动迁移
自动迁移
统一命名空间
SSD高性能池
HDD大容量池
HDD高密池
数据迁移计算侧无感知，可根据
数据实际位置直接访问
24
Huawei Confidential
配额和资源统计
大数据存储
100TB
25
Huawei Confidential
2TB
10TB
8TB
5TB
员工a
员工b
员工c
员工d
文件系统-1
文件系统-2
文件系统-3
文件系统-4
大数据服务解决方案应用场景
实时检索
经营分析
数据可视化 数据挖掘
……
统一门户
大数据应用
大数据组件
Hadoop计算集群
CPU
内存
管理节点
计算节点
CPU
内存
计算节点
CPU
内存
……
计算节点
计算节点
原生HDFS语义
分布式存储集群
……
26
Huawei Confidential
CPU
内存
目录
1. 块服务储特性
2. 对象服务特性
3. 大数据服务特性
4. 文件服务特性
27
Huawei Confidential
InfoEqualizer
Windows, Linux,
Unix …
分布式存储
①
②
③
node1
D
F
S
node2
Windows, Linux,
Unix …
分布式存储
Depart1.9000.co
m
Zone1
Depart2.9000.co
m
Zone2
node3
node4
1、访问系统一级/二级域名,如：fsx.tx.com
2、集群对域名进行解析，根据负载策略，返回IP地址
3、业务访问
基于域名的负载均衡
28
Huawei Confidential
分区管理
InfoTier
热数据
SSD
分级特性根据文件属性
的区别将文件存放在不
SSD
SAS
同的分级上。分级由一
个或多个节点池组成，
SAS
SAS
节点池由多个节点组成，
SATA
冷数据
SATA
SATA
SATA
节点池内部划分成多个
DiskPool，各DiskPool
冷数据
会创建对应分区。
冷热数据分级的存储
29
Huawei Confidential
存储分级示意图
InfoAllocator
存储
20TB
总经理
40TB
100TB
财务部
40TB
人事部
10TB
2TB
员工a
30
Huawei Confidential
10TB
员工b
8TB
员工c
5TB
员工d
InfoLocker
自定义WORM时钟
只读权限
保护过期
未
4、延长保护期
3、保护到期
保
护
状
1、提交保护
态
保护状态
6、重新提交保护
5、追加写
追加状态
31
Huawei Confidential
2、修改保护期
管理员权限
InfoStamper
/
对目录data创建快
照后，删除file3。
data
.snapshot/
file2
32
Huawei Confidential
file2
file3
从快照目录中仍可读取file3。
file3
InfoScanner
防病毒功能
业务服务器
NFS/CIFS
……
分布式存储节点
防病毒服务器
采用轮询的方式将需要查杀的文件路径发送给防病毒代理服务器
支持瑞星、Symantec和Trend Micro ServerProtect等杀毒软件
33
Huawei Confidential
InfoReplicator
①
主目录：/d/h/j
LAN/WAN
从目录：/a/b/c
②
34
Huawei Confidential
快照
快照
主站点
备站点
③
InfoRevive
With InfoRevive->”ABCD00”
A
B
Disk 1
Disk 2
C
Disk 3
Strip
D
Disk 4
Disk 5
传统 RAID->全部数据丢失
35
Strip
A
B
C
D
Disk 1
Disk 2
Disk 3
Disk 4
Huawei Confidential
Disk 6
Disk 5
Disk 6
InfoTurbo
主动感知Cache算法
优化协议
客户端
图例：
已读取数据
预取数据
36
Huawei Confidential
下次读取位置
文件
当前读取位置
下次读取位置
当前读取位置
Cache未命
中，出现丢
帧/花屏
文件
Cache命中，视
频编辑画面连续，
快速响应
……
一个客户端、一
条链路、一个服
务端
“一个客户端、多条
链路、多个服务端”,
打破网络链路和单服
务端瓶颈
文件服务媒资应用场景
需求
非线性编辑
编辑 特效 合成
采集
媒资管理
编目 检索
高清:200Mb/s



标清:50Mb/s

收录系统需要可靠的存储来储存卫星传回的数据。
非编系统需要高性能的存储来快速制编。
媒资管理系统（MAM）需要大容量，低成本的存
储来储存历史资料。
数据共享需求。
磁带
分布式式文件服务
方案
播出服务
播出
流程 转码 Web
媒资存储库
37
Huawei Confidential

N+1到N+4业界最高水平的数据可靠性保障。

弹性扩展，高达100PB存储容量的线性扩展能力。

非热点数据自动迁移，节省投资成本。

单一文件系统，满足数据共享要求。
思考题
1.
（多选）分布式存储块服务支持哪些特性？
A. 快照
B. 克隆
C. 远程复制
D. WORM
2.
（判断）华为OceanStor分布式存储异步远程复制可支持的最短复制周期是1分钟。
A. 正确
B. 错误
38
Huawei Confidential
本章总结
块服务特性
对象服务特性
分布式存储技术与应用
大数据服务特性
文件服务特性
39
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
40
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
41
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
存储规划设计
前言

具有专业的、规范化的规划设计与实施流程，能够针对客户业务需求，提供适
应业务需求的高性能存储环境，以适应持续增长的数据和不断变化的业务需求。

1
本章节主要讲述存储规划设计流程、规划设计内容和规划设计工具等内容。
Huawei Confidential
目标

2
学完本课程，您将能够：

了解规划设计流程

了解规划设计内容

了解规划设计工具
Huawei Confidential
目录
1. 规划设计流程
2. 规划设计内容
3. 规划设计工具
3
Huawei Confidential
规划设计概念
• 规划是集成项目中一个阶段，往往包含策略与设计两大业务模块。
• 策略是明确业务目标、发展需求、技术选型等设计原则。
• 设计是基于策略圈定的方向、范围与原则，完成具体的方案设计，
验证方案的可行性。
4
Huawei Confidential
规划设计的基本阶段

调研阶段

概念性设计阶段

概要设计阶段 –（High Level Design）

物理设计阶段 –（Low Level Design）
调研
充分了解技术与业务的需求
概念性设计
依据需求、限制、假设、风险，输出概念拓扑
概要设计
针对主要的基础架构组件，输出概要文档
物理设计
输出硬件配置及软件设置文档
部署与验证
5
Huawei Confidential
存储规划设计与实施内容
行业
需求
场景
金融业务
政府业务
视频监控业务
...
桌面业务
客户需求
 前期粗放
 需求变化
 后期精确
 业务规划3~5年
项目验收
部署实施
规划设计
服务
内容
媒资业务
 信息调研与分析
 基础环境检查确认
 方案验收标准及内容
 工程勘测（可选）
 硬件安装与验收
 验收流程
 存储兼容性确认
 制定实施指导书
 验收计划、人员安排、责任分工
 LLD规划设计
 存储网络配置指导
 验收用例
 增值特性规划设计
 软件安装
 配置调测
产品
组件
6
产品组件、物理硬件
 服务器
Huawei Confidential
 网络设备
 存储设备
存储规划设计流程
项目信息
硬件规划
组网规划
• 信息收集
• 存储选型
• 组网拓扑
• 基础业务
• 需求分析
• 交换机选型
• IP地址
• 容量规划
• 兼容性确认
• 端口规划
• 增值功能
说明：只列举规划设计过程常用任务项，不同场景任务可能不同。
7
业务规划
Huawei Confidential
目录
1. 规划设计流程
2. 规划设计内容

项目信息

硬件规划

组网规划

业务规划
3. 规划设计工具
8
Huawei Confidential
信息收集
现网组网情况
• 现网设备
• 组网拓扑
• 业务信息
• ……
项目
信息
计划安排
• 项目交付时间
• 关键时间节点
• ……
9
Huawei Confidential
客户需求
• 客户痛点
• 业务增长需求
• 系统扩展需求
• ……
需求分析原则
成本
安全
可管理性
可恢复
性
10
Huawei Confidential
可用性
性能
目录
1. 规划设计流程
2. 规划设计内容

项目信息

硬件规划

组网规划

业务规划
3. 规划设计工具
11
Huawei Confidential
存储选型
容量
• RAID级别
• 热备空间
• 保险箱盘
• 文件系统
• ……
12
Huawei Confidential
吞吐量
IOPS
• 硬盘个数
• 硬盘类型
• 带宽
• RAID级别
• 存储系统架构
• IO特征
• ……
• ……
硬盘类型

硬盘类型和存储层的对应关系：
存储层
存储介质类型
响应时间
每单位存储容量的成本
高性能层
SSD
快
高
性能层
SAS硬盘
中等
中等
容量层
NL-SAS硬盘
慢
低
说明：分层存储只适用于华为混合闪存存储产品。
13
Huawei Confidential
硬盘性能-带宽

在业务模型为连续大IO时才以带宽作为性能的衡量指标，通用硬盘性能带宽值参考
如下：
14
Huawei Confidential
通用硬盘类型
带宽值
10K SAS
100~220MB/s之间
15K SAS
170~240MB/s之间
7.2K SATA/NL SAS
100~240MB/s之间
SATA SSD
400~550MB/s
SAS SSD
500~1100MB/s
NVMe
1.5G~3.x GB/s
硬盘性能-IOPS

下表是单个硬盘的经验预估IOPS值，即一块盘在满足延迟需求的前提下，能够提供
的性能情况，数据仅供参考：
15
硬盘类型
预估IOPS范围
IOPS最小值（建议设备选型最
小值）
10K SAS HDD
280~350
150
15K SAS HDD
400~450
200
7.2K SATA/NL SAS HDD
170~200
70
SATA SSD
几万
2500
SAS SSD
10几万
3500
NVMe
40-70万
5000
Huawei Confidential
RAID级别

根据不同的组合方式可以分为不同的RAID级别。
数据条带化、分布式校验并提供两级冗余
数据条带化、无校验
数据镜像、无校验
RAID 6
RAID 0
RAID 1
常用RAID
级别
RAID 10
RAID 50
数据条带化、奇偶校验盘
RAID 3
RAID 5
数据条带化、分布式校验
16
Huawei Confidential
先做RAID 1，再做RAID 0
先做RAID 5，再做RAID 0
IO特征

根据RAID技术原理可知，其消耗主要体现在写操作上。

下面是使用LoginVSI基准测试得出的平稳状态负载情况，系统盘阵列侧读写情况和
读写IO下盘情况：
17

负载平稳状态的I/O读写比例：读I/O 7%；写I/O 93%。

负载平稳状态的I/O读写下盘比例：读I/O 下盘百分比 60%；写I/O 下盘百分比 40%。
Huawei Confidential
兼容性确认
运维管
理软件
备份软
件
异构虚
拟化
18
Huawei Confidential
存储系
统
服务器
兼容性
确认
操作系
统
HBA
多路径
软件
目录
1. 规划设计流程
2. 规划设计内容

项目信息

硬件规划

组网规划

业务规划
3. 规划设计工具
19
Huawei Confidential
闪存存储组网方式
双交换组网
单交换组网
直连组网
应用服务器
应用服务器
应用服务器
交换机1
交换机1
控制器B
控制器A
存储设备
20
Huawei Confidential
交换机2
控制器B
控制器A
控制器B
控制器A
存储设备
存储设备
分布式存储组网方式
管理节点
私有客户端
访问方式
存储节点
VBS
应用
OSD
OSD
Huawei Confidential
计算节点
应用
EDS
三方仲裁
服务器
FSM
REP
EDS
灾备站点
21
存储节点
计算节点
REP
管理节点
标准协议
访问方式
FSM
灾备站点
VBS/HDFS
-SVR
三方仲裁
服务器
管理平面：
存储平面：
复制平面：
仲裁平面：
业务平面：
网络端口和VLAN规划
以太网端口
• 用于设备接入以太网，为
了增加带宽和提高数据传
输速率，可以将多个以太
网端口绑定为一个端口。
22
Huawei Confidential
绑定端口
• 通过设置以太网端口的绑
定名称和可选端口，可以
将多个以太网端口绑定在
一起，提高以太网端口的
带宽和冗余度。
逻辑端口
VLAN
• VLAN的创建基于物理以
太网端口或绑定端口，一
个物理端口可以从属于多
个VLAN。
• 逻辑端口的创建基于物理
以太网端口、绑定端口或
VLAN，主要用于业务的
运行。同时，需要指定主
用端口，当主用端口失效
时，业务会由故障切换端
口进行接管。
存储网络交换机端口规划
以部署6个节点，业务交换机、存储交换机和管理交换机分别独立部署为例，介绍10GE组网的交换机接口
规划。
接口
说明
存储节点接口
每台交换机使用6个10GE接口顺序连接到存储节点。
M-LAG接口
每台交换机分别使用2个100GE接口配置成M-LAG。
汇聚接口
每台交换机提供4个汇聚接口，3号端口和4号端口连接1台汇聚交换机，5号端口和6号端口连接另外1台
汇聚交换机。
当节点数≤40时，无需使用汇聚交换机，汇聚接口预留。
预留接口
为了避免对其他接口造成影响，建议执行shutdown命令关闭预留接口。关于shutdown命令的详细信息
请参见交换机的产品资料。
说明：选用CE6881交换机时，业务交换机和存储交换机接口规划&接口说明。
23
Huawei Confidential
管理网络交换机端口规划
Mgmt接口
NIC 接口
预留接口
交换机ETH
管理接口
预留接口
汇聚接口
汇聚接口
GE BASE-T电接口
10GE SFP+
光接口
BMC交换机
GE BASE-T电接口
管理交换机接口规划
24
Huawei Confidential
10GE SFP+
光接口
ETH管理网口
BMC交换机接口规划
目录
1. 规划设计流程
2. 规划设计内容

项目信息

硬件规划

组网规划

业务规划
3. 规划设计工具
25
Huawei Confidential
基础业务规划流程 (块业务)
用户行为阶段
规划应用
购买
规划容量
规划硬盘域
分配空间
规划存储池
规划LUN的
读写策略
使用空间
管理/维护
26
Huawei Confidential
规划iSCSI CHAP
规划用户
必选项
可选项
基础业务规划流程 (文件业务)
用户行为阶段
规划应用
购买
规划容量
规划硬盘域
分配空间
规划存储池
规划文件系统
认证用户
27
Huawei Confidential
规划认证用户
网络
规划网络
共享空间
规划共享
必选项
可选项
更多信息获取
我们教材里只列举了部分常用的规划设计内容，更多的资
料可以登录华为数据存储信息中心（http://supportit.huawei.com/storage/#/home），查找相关产品文档。
好的，教授。我们通过技术支持网站
（https://e.huawei.com）也可以查找这
些文档。
28
Huawei Confidential
目录
1. 规划设计流程
2. 规划设计内容
3. 规划设计工具
29

eService LLDesigner介绍

其他工具介绍
Huawei Confidential
eService LLDesigner介绍
LLD文档
方式1：自由创建
方式2：由BOQ导入创建
方式3：由模板创建
项目实施
配置文件
LLDesigner
30
Huawei Confidential
完成设备配置
向导化
可视化
从组网到业务规划，全流程引导。
基于Web页面，硬件配置、设备组网、
资源分配可视化。
标准化
自动化
统一LLD文档风格，简化项目参数设置，节
省项目规划设计时间。
快速生成LLD文档，和离线配置文件，
完成设备基础业务配置。
功能介绍
存储资源规
划向导化
机柜内设备
摆放位置自
动推荐
导出配置文
件
可视化组网
BOQ导入
31
Huawei Confidential
工具使用方法
获取方法
• 登录
http://support.eservice.huawei.com/，
在开局交付区域，选择LLDesigner，进
入LLDesigner页面。
• 使用Google Chrome浏览器。
32
Huawei Confidential
操作指导
• 进入工具的帮助中心，即可访问指导视频。
目录
1. 规划设计流程
2. 规划设计内容
3. 规划设计工具
33

eService LLDesigner介绍

其他工具介绍
Huawei Confidential
组网助手
打开
工具
配置
方式
产品
类型
产品
型号
说明：登录华为数据存储信息中心在“产品信息速查”中找到“组网助手”。
34
Huawei Confidential
组网
图
能耗计算助手
打开
工具
部件
类型
产品
系列
产品
型号
说明：登录华为数据存储信息中心在“产品信息速查”中找到“能耗计算”。
35
Huawei Confidential
功耗
信息
更多信息获取
教授，还有其他的规划设计工具吗？
有的，我们教材里只列举了部分常用的工具，更多的工具
资料可以登录华为数据存储信息中心（http://supportit.huawei.com/storage/#/home），在“产品信息速查”
中查找，如：备件查询、规格查询、EOX查询等。
36
Huawei Confidential
思考题
1.
（多选）项目需求分析原则有哪些？
A.
安全
B.
成本
C.
可管理性
D. 可恢复性
E.
2.
性能
（多选）以下属于存储系统典型组网方案的是？
A.
双链路直连组网
B.
多链路单交换机组网
C.
多链路双交换机组网
D. 单链路直连组网
37
Huawei Confidential
本章总结
项目信息
规划设计流程
硬件规划
规划设计内容
组网规划
存储规划设计
业务规划
规划设计工具
eService
LLDesigner
其他工具
38
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
39
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
40
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
存储安装部署
前言

本章节主要讲述华为存储的安装部署流程，如存储系统安装、系统初始化、业
务部署等。
1
Huawei Confidential
目标

2
学完本课程后，您将能够：

了解闪存存储安装部署过程

了解分布式存储安装部署过程
Huawei Confidential
目录
1. 闪存存储安装部署

系统安装

业务部署
2. 分布式存储安装部署
3
Huawei Confidential
安装流程
安装设备
连接线缆
安装准备
检查硬件安装
建立远程维护环境
上电
初始化存储系统
4
Huawei Confidential
安装前准备
准备安装工具
安装辅助工具
检查安装环境
开箱验货
安装仪表
检查温度湿度
软件工具
检查电源
……
设备验收
检查机柜散热
拆卸设备包装
……
安装辅料验收
……
5
Huawei Confidential
安装存储设备
安装控制框
安装硬盘框
安装可选设备
安装控制框
安装2U硬盘框
安装机柜
安装接口模块
安装4U硬盘框
安装仲裁服务器
安装走线架
安装硬盘
安装存储节点
……
……
安装交换机
……
6
Huawei Confidential
连接线缆
外部电
源
控制框
智能硬盘框
SAS硬盘
框
控制框和硬盘框线缆连接
说明：以华为OceanStor Dorado全闪存存储为例。
7
Huawei Confidential
控制框和硬盘框连接电源线
外部电
源
设备上电顺序
外部电源
8
Huawei Confidential
控制框电源
交换机电源
服务器电源
初始化存储系统流程
开始
9
Huawei Confidential
修改管理IP
登录DM
初始化配置向
导
结束
配置告警处理
配置安全策略
初始化配置向导
设备信息
开始
设备时间
配置基本信息
License管理
创建存储池
告警设置
扫描UltraPath主机
分配资源
结束
说明：以华为全闪存存储产品为例，不同产品版本和型号的操作界面可能会有差异，操作时请以实际情况为准。
10
Huawei Confidential
配置安全策略
配置账户策略
配置登录策略
配置可访问的IP地址
配置用户账户审计
11
Huawei Confidential
配置告警和事件处理策略
邮件通知
短信通知
告警与通知
告警转储
Trap通知
Syslog通知
说明：具体配置方式可参照“产品文档—管理告警与事件”。
12
Huawei Confidential
更多工具获取
教授，存储安装步骤比较复杂，有没有
安装指导资料呢？
我们教材里只列举了部分主要的安装步骤，更多的资料可以登录华为数据
存储信息中心（http://support-it.huawei.com/storage/#/home），在
“多媒体中心”中可以查找存储安装的视频；也可以选择OceanStor
Dorado V6信息中心查找产品文档。
13
Huawei Confidential
目录
1. 闪存存储安装部署

系统安装

业务部署
2. 分布式存储安装部署
14
Huawei Confidential
基础业务配置流程（块服务）
开始
配置前检查>登录DeviceManager
配置前准备
创建硬盘域>创建存储池>创建LUN>创建LUN组
创建主机>创建主机组
创建映射
结束
说明：以华为混合闪存存储产品为例，不同产品版本和型号的操作界面可能会有差异，操作时请以实际情况为准。
15
Huawei Confidential
创建存储空间
映射存储资源
给主机
基础业务配置流程（文件服务）
开始
配置前检查>登录DeviceManager
配置前准备
创建硬盘域>创建存储池>创建文件系统
创建quota tree>创建配额
共享文件系统和应用服务器访问共享文件系统
结束
说明：以华为混合闪存存储产品为例，不同产品版本和型号的操作界面可能会有差异，操作时请以实际情况为准。
16
Huawei Confidential
创建文件系统
共享文件系统和
访问文件系统
目录
1. 闪存存储安装部署
2. 分布式存储安装部署
17

系统安装

业务部署
Huawei Confidential
安装流程
18
安装前准备
软件安装与部署
安装后检查
准备硬件
校验软件包
检查集群状态
准备操作系统
配置并检查安装环境
检查主机状态
准备工具和软件
安装FSM
准备数据
安装FSA
Huawei Confidential
存储交换机配置
节点端口
• 建议顺序连接到节点业务接口。
预留端口
• 空闲端口，建议执行shutdown命令关闭这些接口。
M-LAG端口
• 建议使用2个100GE端口用于交换机之间互联。
汇聚端口
• 建议使用4个100GE端口连接到汇聚交换机。
ETH管理端口
• 用于交换机管理，连接到BMC管理交换机。
19
Huawei Confidential
管理交换机配置
MGMT端口
• 分别连接到各节点的MGMT端口。
预留端口
• 空闲端口，建议执行shutdown命令关闭这些接口。
NIC端口
• 分别连接到各节点的NIC端口。
汇聚端口
• 建议使用2个GE端口连接到管理网络。
ETH管理端口
• 连接到存储交换机的ETH管理端口。
20
Huawei Confidential
块服务融合部署安装连线示例
SLOT3-3
SLOT3-2
SLOT3-1
SLOT3-0
SLOT5-0
SLOT5-1
SLOT5-2
SLOT5-3
NIC1-1
NIC1-2
Mgmt
接口名称
SLOT5-0和SLOT5-1
NIC1-1
Mgmt
接口类型
接入网络
10GE/25GE光接口
存储网络
GE接口
GE接口
管理网络
BMC网络
说明：当需要将管理网口组成bond时，管理网口选择NIC1-1和NIC1-2。
21
Huawei Confidential
说明
连接到存储交换机，2个接口
组成逻辑上的bond。
连接到管理交换机。
连接到BMC交换机。
块服务分离部署安装连线示例
SLOT3-3
SLOT3-2
SLOT3-1
SLOT3-0
SLOT5-0
SLOT5-1
SLOT5-2
SLOT5-3
NIC1-1
NIC1-2
Mgmt
接口名称
SLOT5-0和SLOT5-1
NIC1-1
Mgmt
接口类型
接入网络
10GE/25GE光接口
存储网络
GE接口
GE接口
管理网络
BMC网络
说明
连接到存储交换机，2个接口
组成逻辑上的bond。
连接到管理交换机。
连接到BMC交换机。
说明：以100P节点为例。当需要将管理网口组成bond时，管理网口选择NIC1-1和NIC1-2。
22
Huawei Confidential
对象服务节点连接示例
SLOT3-3
SLOT3-2
SLOT3-1
SLOT3-0
SLOT5-0
SLOT5-1
SLOT5-2
SLOT5-3
NIC1-1
NIC1-2
NIC1-3
NIC1-4
Mgmt
接口名称
SLOT5-0和SLOT5-1
NIC1-3和NIC1-4
NIC1-1
Mgmt
接口类型
接入网络
10GE光接口
存储网络
GE接口
业务网络
GE接口
GE接口
管理网络
BMC网络
说明
连接到存储交换机。两个接口组成逻
辑上的bond接口。
连接到业务交换机。两个接口组成逻
辑上的bond接口。
连接到管理交换机。
连接到BMC交换机。
说明：以P100节点为例。当需要将管理网口组成bond时，管理网口选择NIC1-1和NIC1-2。
23
Huawei Confidential
大数据服务节点连接示例
SLOT3-3
SLOT3-2
SLOT3-1
SLOT3-0
SLOT5-0
SLOT5-1
SLOT5-2
SLOT5-3
NIC1-1
NIC1-2
Mgmt
接口名称
SLOT5-0和SLOT5-1
SLOT5-2和SLOT5-3
NIC1-1
Mgmt
接口类型
接入网络
10GE光接口
存储网络
10GE光接口
业务网络
GE接口
GE接口
管理网络
BMC网络
说明
连接到存储交换机。两个接口组成逻
辑上的bond接口。
连接到业务交换机。两个接口组成逻
辑上的bond接口。
连接到管理交换机。
连接到BMC交换机。
说明：以P100节点为例。当需要将管理网口组成bond时，管理网口选择NIC1-1和NIC1-2。
24
Huawei Confidential
KVM信号线缆连接示例
25
Huawei Confidential
目录
1. 闪存存储安装部署
2. 分布式存储安装部署
26

系统安装

业务部署
Huawei Confidential
分布式存储业务部署流程
27
块
创建块存储池
文件
创建文件存储池
配置文件业务
大数据
创建大数据存储池
配置大数据业务
对象
创建对象存储池
创建块客户端
导入
license
初始化
配置块业务
配置对象业务
Huawei Confidential
Page27
块存储配置流程 - SCSI
准备
工作
业务
配置
导入块服务
License
创建块存储
池
创建VBS
增加计算节
点
创建卷
创建VBS与
卷的关联
完成
28
Huawei Confidential
块存储配置流程 - iSCSI
准备
工作
业务
配置
29
Huawei Confidential
导入块服务
License
创建块存储
池
创建主机
配置iSCSI
服务
增加启动器
创建卷
完成
创建主机与
卷的关联
大数据业务配置流程
30
Huawei Confidential
公共
配置
导入大数据
服务License
创建大数据
服务存储池
业务
配置
创建文件系
统
创建账户
配置子网
创建Global
Zone
关联文件系
统
创建
NameNode
Zone
对象存储配置流程
准备
工作
业务
配置
31
Huawei Confidential
导入对象服务
License
部署对象服务
创建对象存储
池
配置DNS服务
配置区域
配置对象业务
网络
创建账户
创建桶
完成
更多工具获取
教授，存储安装步骤比较复杂，有没有
安装指导资料呢？
我们教材里只列举了部分主要的安装步骤，更多的资料可以登录华为数据
存储信息中心（http://support-it.huawei.com/storage/#/home），在
“多媒体中心”中可以查找存储安装的视频；也可以选择OceanStor
100D信息中心查找产品文档。
32
Huawei Confidential
思考题
1.
（判断题）存储系统提供初始化向导，可以完成设备管理IP配置。（
2.
（判断题）设备上电遵循先给机柜上电，再给机柜内设备上电的上电顺序。（ ）
3.
（多选）存储系统支持哪些告警处理策略：（
A. 邮件通知 B. syslog通知
4.
D. Trap方式通知
（多选）关于分布式存储安装时的硬件要求正确的是（
A. 主机节点数不低于三台
B. 主机节点内存容量大于4G
C. 主机管理网卡速率可以为1G
D. CPU要大于等于4
33
C. 短消息通知
）
Huawei Confidential
）
）
本章总结
存储系统安装
闪存存储安装部署
系统初始化
业务部署
存储安装部署
存储系统安装
分布式存储安装部署
系统初始化
业务部署
34
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
35
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
36
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.
存储运维与故障处理
前言

本章主要讲述存储运维和故障处理的基本概念、流程、处理方法等。存储设备
属于电子产品，电子产品都存在着使用寿命的问题，在产品运行的过程中，难
免会出现硬件、软件等的故障。为了保障存储系统正常的运行，有必要掌握相
应的运维和故障处理技能，为业务的正常运行保驾护航。
1
Huawei Confidential
目标

2
学完本课程后，您将能够：

掌握运维的操作方法

了解故障处理的流程

掌握常见故障的处理思路
Huawei Confidential
目录
1. 存储运维

运维概述

信息收集

运维操作
2. 故障处理
3
Huawei Confidential
什么是运维

运维，本质上是对网络、服务器、服务的生命周期各个阶段的运营与维护，在成本、
稳定性、效率上达成一致可接受的状态。
•
•
•
•
•
•
•
•
资产管理
事件管理
能效管理
…
人员组织
维护管理
•
•
•
•
设备维保
设备检修
风险识别
…
•
•
•
•
4
Huawei Confidential
资源
管理
技术保障
平台配置
标准
标准体系
ITIL
Uptime O&M
ISO 2000
…
组织架构
专业技能
人力配置
…
业务流程
•
•
•
•
•
•
•
•
维护工具
知识库
运维平台
…
标准操作流程
应急响应流程
故障处理流程
…
如何做好运维

技术层：梳理各产品运维生命周期的工作，识别各项工作的关键举措。

流程层（ITIL流程管理框架）：变更、事件、问题管理等。
流程管理
运维/运营期
设备上线前
事件管理
问题管理
需求分析
配置选型、架构设计
下线规范
变更管理
上线、转维标准
上线部署规范
容量管理、扩容
性能、体验优化
应急、容灾演练
成本、效率优化
PRR管理（性能、可靠性、可恢复性）
5
Huawei Confidential
配置管理
监控、安全合规
运
营
发布管理
……
企业存储运维系统构成
客户数据中心
Server
华为技术支持
DME
存储资源控制
运维管理员
资源池化 服务编排
eSight
多设备管理
运维管理员
故障监控 性能报表
Fabric
故障建单 远程处理
eService 云平台
远程作战室
Storage
Device
Manager
Device
Manager
Device
Manager
Device Manager
Single Device Management
O&M administrator
Configure & Alarming
6
Huawei Confidential
eService
远程维护
运维管理员
故障监控 故障回传
SmartKit
存储服务工具
服务人员
交付 升级 故障处理
鉴权系统
设备档案系统
问题单处理系统
故障诊断专家系统
DME Storage产品介绍

DME Storage是华为公司推出面向数据中心存储设备的集中管理运维软件，覆盖设备管理生
命周期的四个阶段：规划、建设、维护、优化。
Browser
DMEEcoPlugin
3rd System
DME Storage
API网关（RESTful/SNMP）
外部路由
内部路由
服 务 治理
资源发放
数据保护
数据流动
自动化引擎
AFA
Huawei Confidential
报表大屏
策略监督引擎
RDB
7
智能分析
故障风险
数据存储
NoSQL：
Elasticsearch
Kafka
南向接入与数据采集
Hybrid
SDS
AI引擎
Brocade FC
Switches
…
DME Storage功能介绍
ITSM
自动化平台
监控平台
报表平台
北向开放API
规划
建设
基于SLA池化整合
智能规划自动入池
优化
运维
自动发现、主动预防
自动分析、快速定位
灵活的自动化方式
可编排的定时任务
多维分析、优化建议
一键变更、自动驾驶
金
金
银
银
铜
南向开放API
Huawei AFA
8
Huawei Confidential
Huawei Hybrid
Huawei SDS
FC Switches
Third-party
Cloud (optional)
DME Storage端到端运维
关联信息
第三方
告警管理
客户管理员
通知
筛选
定界定位
DME告警管理
端到端拓扑
自动建单
上报
通知
eService
屏蔽
E2E根因分析
解决
自动确认/清除/更改/标记
告警
屏蔽
告警
抑制
告警
聚合
告警
关联
关联事件
端到端性能分析
解析
关联对象
告警采集
主机/vCenter
FC Switch
Storage System
存储基础架构
9
Huawei Confidential
AI&策略
引擎
自动化
引擎
E2E瓶颈分析
DME Storage主动运维
云上训练
AI&策略引擎
eService
华为服务
性能检查和预测
- 存储资源/主机/交换机
自动建单
- 服务等级SLA
事件
管理
AI 模型
客户管理员
决策
自动化
引擎
AI&策略
引擎
配置库
分析
数据集
数据
清洗
配置检查
可用性检查和预测
- 属性、版本、维保
- 硬盘健康度/寿命
- 变更、关联资源
- 硬件和资源状态
- 兼容性、数据保护
- 异常负载探测
历史库
执行
接入和采集
主机/vCenter
FC Switch
Storage System
存储基础架构
10
Huawei Confidential
容量检查和预测
优化点检查
- 利用率、空闲容量
- 最佳实践配置
- 剩余使用时长
- 未均衡、可回收
更多运维资料获取
教授，IT设备现场环境往往比较复杂，
单一的运维方式可能不能满足现场运维
要求，还有没有更多的指导资料呢？
我们教材里只列举了部分的运维方式，更多的资料可以登录华为数据存储
信息中心（http://support-it.huawei.com/storage/#/home），再搜索
“运维”，可查看更多运维工具及案例资料。
11
Huawei Confidential
目录
1. 存储运维

运维概述

信息收集

运维操作
2. 故障处理
12
Huawei Confidential
什么是信息收集

在故障发生后，通过及时收集和上报基本信息、故障信息、存储设备信息、组网以
及应用服务器信息，可以帮助维护人员快速的定位故障原因并排除故障。

13
信息收集操作必须事先得到授权后方可进行。
Huawei Confidential
信息收集方法
利用DeviceManager收集日志和告警
利用命令行收集存储系统配置数据
利用SmartKit收集信息
14
Huawei Confidential
收集现网信息流程
步骤1
基本信息
产品1
15
Huawei Confidential
步骤2
故障
产品2
信息
存储
步骤3
设备
产品3
信息
步骤4
组网
产品4
信息
应用
服务
器信
息
收集故障信息流程
导出系统数据
检查所有事件
收集存储系统故障信息
检查告警信息
下载日志
收集以太网交换机信息
收集故障信息
收集交换机信息
收集FC交换机信息
检查SFP信息
主机端
文件系统
收集其他信息
数据库
HBA
…
16
Huawei Confidential
更多资料获取
教授，教材中只列出了信息收集的方法
和流程，有没有更详细的操作指导和命
令？
我们教材里重点介绍流程和方法，更深入的学习可登录华为数据存储信息
中心（http://support-it.huawei.com/storage/#/home），再搜索“信息
收集”，可查看更多信息收集工具、收集命令等资料。
17
Huawei Confidential
目录
1. 存储运维

运维概述

信息收集

运维操作
2. 故障处理
18
Huawei Confidential
快速维护流程
开始
检查指示灯状态
并处理相关异常
检查业务状态
并处理相关异常
检查系统性能
并处理相关异常
检查并处理告警
是否能够处
理以上异常？
否
收集信息并上报故障
结束
19
Huawei Confidential
是
检查存储设备流程
检查存储运
步骤1
行环境
产品1
20
Huawei Confidential
检查
步骤2
指示
产品2
灯
检查
步骤3
设备
运行
产品3
状态
检查
步骤4
业务
运行
产品4
状态
目录
1. 存储运维
2. 故障处理
21

故障概述

故障处理方法

故障处理实践
Huawei Confidential
故障定义

故障 fault

产品不能执行规定功能的状态。预防性维修或其他计划性活动或缺乏外部资源的情况除外。
故障通常是产品本身失效后的状态，但也可能在失效前就存在。(GB/T3187-94)

A fault is defined as an abnormal condition or defect at the component， equipment，
or sub-system level which may lead to a failure. （ ISO/CD 10303-226）
22
Huawei Confidential
故障分析

故障分析，又称为故障诊断，是指为了确定故障原因以及如何防止其再次发生而收
集和分析数据的过程。

故障分析乃是制造行业众多分支之中的一门重要学科。例如在电子行业，新产品开
发和已有产品改进时的重要手段就是故障分析。

在故障分析过程中，需要采用各种各样的方法和手段，收集故障部分的数据和信息，
以便用于故障原因（一种或多种）的后续分析。（摘自维基百科）
23
Huawei Confidential
MTBF和MTTR
up time (after repair)
down time (unplanned)
Up
Down
between failures
off
one failure
one failure
one failure
Time Between Failures = (down time – up time )

平均故障间隔（ Mean Time Between Failures ，MTBF），
是描述产品在操作使用或测试期间的平均连续无故障时间。

平均修复时间（Mean time to recovery，MTTR），是描述
产品由故障状态转为工作状态时修理时间的平均值。
24
Huawei Confidential
常见故障类型
硬盘框故障
级联模块故障
电源模块故障
接口模块故障
…
FC链路异常
iSCSI链路异常
…
存储系统间复制
链路不一致
存储池离线
LUN故障
从LUN异常断
开
备份恢复过程中
断电
…
25
Huawei Confidential
硬件模块类故障
基础存储业务类故障
增值业务类故障
管理软件类故障
故障类型
多路径软件类故障
…
串口无法登陆
DeviceManager故障
…
服务器重启后无法加载
多路径软件
SUSE应用服务器无法
发现多路径
…
目录
1. 存储运维
2. 故障处理
26

故障概述

故障处理方法

故障处理实践
Huawei Confidential
存储故障处理基本原则
先定位外部，
后定位内部

外部设备问题包括光纤、光缆、客户设备和断电等问题。

内部问题包括硬盘、控制器、接口模块等问题。

在分析告警时，应该按照级别的优先级依次进行分析，如先分析紧急级别的告
警，再分析重要和警告级别的告警。

紧急：已经造成客户业务中断或者可能引起设备不可用的故障，需要立即采取措施修
复。
先高级别告警，
后低级别告警

重要：对设备产生部分影响或者对系统性能造成影响，需要采取纠正措施，以防止更
严重的故障的发生。所有硬件类型的故障均属于该级别。

警告：对设备没有影响，系统检测到潜在的或者即将发生的影响业务的故障，且当前
还没有影响业务。
先共性告警，
后个别告警
27
Huawei Confidential

在分析告警时，应先分析是个别问题还是共性问题，确定问题的影响范围。

需要确定是一个模块出问题，还是多个模块出现类似问题。
存储故障排查思路概述
1
故障处理流程
根据故障处理流程，对产品使
用过程中出现的故障进行排除。
3
告警信息分析法
通过查看存储系统的告警信息
来定位和处理故障。
28
Huawei Confidential
基本原则
2
故障定位的基本原则能够帮助
用户快速排除无效信息，实现
对故障的迅速定位。
替换法
4
通过替换存储系统的部件来定
位和处理故障。
存储故障处理流程
故障排查
观察故障现象并
收集故障信息
查看网管是否
有事件信息
否
是
《故障处理》
手册是否匹配
是
根据DeviceManager的事件处理建
议或《事件参考》手册处理事件
故障是
否排除
是
结束
29
Huawei Confidential
在《故障处理》手册中根据故障现
象搜索匹配故障
根据故障的“处理步骤”处理
否
保持故障环境联系
技术支持工程师
否
目录
1. 存储运维
2. 故障处理
30

故障概述

故障处理方法

故障处理实践
Huawei Confidential
告警信息分析法

概述

当系统发生故障时，一般会伴随有大量的告警产生，通过查看告警信息并配合对性能数据的分析，可大概判断出所发生故障的
类型和位置。

应用场景


在能够正常收集到告警信息的情况下，告警分析法适用于定位任何故障。
应用举例

某视频业务运行过程中，突然出现业务性能下降，视频画面断断续续的情况。

先检查客户端状态正常，检查网络状态正常。再查看阵列故障指示灯亮，然后登录管理界面后发现当前有紧急告警。进入告警
管理查看发现有RAID组降级告警，并直接定位到是某硬盘出现故障。通过更换该硬盘，故障排除。
31
Huawei Confidential
替换法

概述

替换法就是使用一个工作正常的部件去替换一个疑似工作不正常的部件，从而达到定位故障、排除故障的目的。这里的部件可
以是一根网线、一个控制器或者一个级联模块。

应用场景

替换法适用于硬件故障的处理，往往可以快速准确地定位出发生故障的部件。使用替换法的局限在于事先必须准备相同的备件，
因此要求进行较充分的前期准备工作。


替换法最好在业务量小或不影响业务的情况下进行。
应用举例

某图书馆设备巡检过程中，发现无法通过DeviceManager登录存储设备，主机端也无法ping通存储设备。通过拔插或更换网线
发现，网线松动或损坏导致该问题。
32
Huawei Confidential
BBU故障处理案例
现象描述
在DeviceManager
中BBU的“健康状
态”显示为“故
障”。
33
Huawei Confidential
分析诊断
出现BBU故障，可
能原因：BBU连接
异常或BBU模块故
障。
处理恢复
步骤一、找到BBU故障告警，根据告警提示的
BBU模块所在位置信息拔插该BBU模块。
步骤二、操作结束后，在DeviceManager中检
查相应的BBU健康状态。
步骤三、如果BBU健康状态恢复为正常，则说
明故障解决。否则直接更换该BBU模块。如果
问题仍未解决，请保持故障环境并联系技术支
持工程师。
思考题
1.
（多选）收集现网信息可以从哪些方面收集？（ ）
A. 组网信息
B. 存储设备信息
C. 应用服务器信息
D. 故障信息
2.
（判断）当存储系统产生故障告警时，使用替换法处理是最好的方法。（
A. 正确
B. 错误
34
Huawei Confidential
）
本章总结
运维概述
存储运维
信息收集
运维操作
存储运维与故障处理
故障概述
故障处理
故障排查思路
故障处理实践
35
Huawei Confidential
更多信息
扫码订阅，收获最热文档：
https://support.huawei.com/enterprise/zh/newsletter
36
Huawei Confidential
学习推荐
智能数据与存储学院
产品多媒体和在线课堂为工程师提供丰富的学习材料
support.huawei.com/e
Ne
w
37
Huawei Confidential
Thank you.
把数字世界带入每个人、每个家庭、
每个组织，构建万物互联的智能世界。
Bring digital to every person, home, and
organization for a fully connected,
intelligent world.
Copyright©2020 Huawei Technologies Co., Ltd.
All Rights Reserved.
The information in this document may contain predictive
statements including, without limitation, statements regarding
the future financial and operating results, future product
portfolio, new technology, etc. There are a number of factors that
could cause actual results and developments to differ materially
from those expressed or implied in the predictive statements.
Therefore, such information is provided for reference purpose
only and constitutes neither an offer nor an acceptance. Huawei
may change the information at any time without notice.