章 数据存储的背景 001
1.1 数据存储的重要 001
1.2 数据存储的目标 002
1.2.1 高能 002
1.2.2 高易用 003
1.2.3 高可靠 004
1.2.4 其他目标 005
参文献 005
第2章 存储盘与存储介质 007
2.1 磁盘 007
2.1.1 磁盘的组成与结构 008
2.1.2 磁盘能 009
2.1.3 磁盘固件 011
2.2 ssd 014
2.2.1 闪存单元与结构 015
2.2.2 ftl 017
2.3 主存 020
2.3.1 dram 组成与结构 020
2.3.2 dram 刷新 023
2.3.3 内存控制器 024
2.3.4 非易失存储器 024
2.4 其他存储介质 027
2.4.1 光存储 027
2.4.2 磁带 028
2.5 本章小结 028
2.6 思题 029
参文献 029
第3章 存储阵列 030
3.1 硬件架构 030
3.1.1 整机架构 031
3.1.2 控制器模块 031
3.1.3 接模块 032
3.1.4 硬盘框和硬盘单元 033
3.1.5 散热模块 033
3.2 软件架构 034
3.2.1 raid 子系统 034
3.2.2 缓存镜像子系统 040
3.3 高能与高可靠设计 042
3.3.1 应用场景 042
3.3.2 高可靠冗余切换子系统 043
3.3.3 高能集群子系统 045
3.3.4 重定向写与垃圾回收技术 047
3.4 本章小结 049
3.5 思题 049
参文献 049
第4章 存储协议 050
4.1 scsi 协议 050
4.1.1 scsi 协议概述 050
4.1.2 scsi 服务模型 051
4.1.3 scsi 指令集 053
4.1.4 scsi 读写流程解析 053
4.2 scsi 链路承载协议 054
4.2.1 sas 协议 054
4.2.2 fc 协议 056
4.2.3 iscsi 协议 057
4.3 nvme 协议 059
4.3.1 nvme 设备模型 059
4.3.2 nvme 队列模型 060
4.3.3 nvme 指令集 062
4.3.4 nvme over pci-e 062
4.4 nvme over fabrics 064
4.4.1 nvme over rdma 065
4.4.2 nvme over tcp 067
4.4.3 nvme over fc 068
4.5 内存互连协议 070
4.5.1 cxl 协议概述 071
4.5.2 cxl 类型 1 072
4.5.3 cxl 类型 2 073
4.5.4 cxl 类型 3 074
4.6 本章小结 074
4.7 思题 075
参文献 075
第5章 键值存储 077
5.1 基本作 077
5.2 键值索引 078
5.2.1 散列索引 078
5.2.2 b+树索引 080
5.2.3 lsm 树索引 081
5.3 数据布局 085
5.3.1 原地更新的数据组织 085
5.3.2 志结构的数据组织 085
5.4 崩溃一致 086
5.4.1 wal 086
5.4.2 影子页 087
5.5 本章小结 087
5.6 思题 087
参文献 088
第6章 文件系统 089
6.1 文件系统的基本作 089
6.2 文件系统实现 090
6.2.1 一个简单的文件系统 091
6.2.2 命名空间管理 094
6.2.3 存储管理 095
6.3 文件系统实例:ext2 098
6.4 本章小结 100
6.5 思题 100
参文献 100
第7章 网络存储体系结构 101
7.1 das 101
7.2 nas 102
7.2.1 架构特点 102
7.2.2 网络文件协议 103
7.2.3 应用场景 104
7.3 san 104
7.3.1 架构特点 104
7.3.2 核心组件 105
7.3.3 应用场景 106
7.3.4 nas 与 san 对比 106
7.4 对象存储 106
7.4.1 架构特点 106
7.4.2 核心组件 107
7.5 并行存储 108
7.5.1 架构特点 108
7.5.2 关键技术 108
7.6 p2p 存储 109
7.6.1 架构特点 110
7.6.2 关键技术 110
7.6.3 应用场景 111
7.7 云存储 112
7.7.1 架构特点 113
7.7.2 应用场景 113
7.8 存储虚拟化 115
7.8.1 基本概念 115
7.8.2 关键技术 116
7.9 软件定义存储 117
7.9.1 基本概念 117
7.9.2 代表系统 118
7.9.3 关键挑战 119
7.10 超融合架构 120
7.10.1 基本概念 120
7.10.2 关键技术 121
7.10.3 代表系统 121
7.10.4 概念对比 122
7.11 本章小结 122
7.12 思题 123
参文献 123
第8章 分布式存储系统 125
8.1 分布式存储系统的典型架构 125
8.2 分布式存储系统的关键衡量指标 126
8.2.1 能 126
8.2.2 可扩展 126
8.2.3 一致 126
8.2.4 可用 128
8.3 分布式键值存储系统 128
8.3.1 典型分布式键值存储系统 129
8.3.2 分布式键值存储系统关键技术 132
8.4 分布式对象存储系统 134
8.4.1 典型分布式对象存储系统 134
8.4.2 分布式对象存储系统关键技术 138
8.5 分布式块存储系统 139
8.5.1 典型分布式块存储系统 139
8.5.2 分布式块存储系统关键技术 142
8.6 分布式文件系统 142
8.6.1 典型分布式文件系统 143
8.6.2 分布式文件系统关键技术 150
8.7 本章小结 151
8.8 思题 151
参文献 151
第9章 存储可靠 153
9.1 存储可靠概述 153
9.1.1 可靠指标及其计算方法 153
9.1.2 可靠分层设计 154
9.1.3 可靠与可用的区别 155
9.2 硬盘可靠 155
9.2.1 硬盘出错特征分析 155
9.2.2 硬盘故障预警和监测 157
9.2.3 面向环境因素的硬盘可靠设计 160
9.3 闪存介质可靠 161
9.3.1 闪存介质错误源 161
9.3.2 闪存可靠优化关键技术 163
9.4 纠删码技术 165
9.4.1 多副本 165
9.4.2 纠删码 165
9.4.3 典型的纠删码介绍及分析 168
9.4.4 纠删码技术发展趋势 176
9.5 分布式存储系统可靠 180
9.5.1 数据冗余技术 180
9.5.2 故障恢复技术 181
9.5.3 数据一致协议 181
9.5.4 负载均衡技术 182
9.6 本章小结 182
9.7 思题 182
参文献 183
0章 存储安全 189
10.1 理念和安全体系 189
10.2 系统安全 190
10.2.1 硬件安全 190
10.2.2 容器安全 192
10.2.3 系统韧 193
10.3 数据安全 194
10.3.1 数据加密 194
10.3.2 数据完整 196
10.3.3 权限管理 199
10.3.4 数据安全销毁 200
10.3.5 数据安全计算 201
10.4 安全管理 203
10.4.1 系统访问控制(认证管理) 203
10.4.2 用户身份和访问管理 206
10.4.3 管理和密钥管理 207
10.4.4 网络安全管理 211
10.5 本章小结 212
10.6 思题 212
参文献 213
1章 数据保护 216
11.1 数据保护背景 216
11.1.1 数据保护标准 216
11.1.2 数据保护技术特点 218
11.2 数据保护技术 219
11.2.1 镜像 219
11.2.2 快照 222
11.2.3 克隆 223
11.3 数据保护场景 223
11.3.1 备份 224
11.3.2 归档 228
11.3.3 容灾 231
11.4 本章小结 240
11.5 思题 240
参文献 240
2章 存储维护 242
12.1 概述 242
12.2 维护 242
12.2.1 硬盘健康预测 243
12.2.2 容量趋势预测 244
12.2.3 能异常检测 245
12.2.4 能潮汐分析 245
12.3 纠正维护 246
12.3.1 主动问题处理 246
12.3.2 升级 246
12.3.3 扩容 249
12.4 思题 251
参文献 252
3章 存储解决方案 253
13.1 运营商行业解决方案 253
13.1.1 运营商大数据解决方案 253
13.1.2 运营商 bom 域生产业务备份 255
13.2 政务融合存储资源池解决方案 257
13.2.1 场景需求 257
13.2.2 融合资源池解决方案 258
13.3 金融行业容灾解决方案 259
13.3.1 场景需求 259
13.3.2 容灾建设需求 260
13.3.3 两地三中心容灾解决方案 260
13.4 医疗行业解决方案 261
13.4.1 场景需求 261
13.4.2 pacs 影像系统存储解决方案 262
13.5 教育行业解决方案 262
13.5.1 场景需求 263
13.5.2 教育科研高能计算和数据分析 263
13.6 思题 264
参文献 264
4章 存储技术趋势与发展 265
14.1 闪存存储系统 265
14.1.1 oc ssd 266
14.1.2 zns ssd 267
14.2 存内计算 269
14.2.1 近存计算 270
14.2.2 存算一体化 270
14.3 持久内存 272
14.3.1 文件系统 272
14.3.2 键值存储系统 273
14.3.3 分布式存储系统 275
14.4 在网存储 276
14.4.1 在网数据协调 276
14.4.2 在网数据调度 277
14.4.3 在网数据缓存 278
14.5 智能存储 278
14.5.1 ai for storage 278
14.5.2 storage for ai 280
14.6 边缘存储 282
14.6.1 边缘存储设备 283
14.6.2 边缘存储 i/o 栈 284
14.6.3 边缘数据组织与检索 284
14.7 区块链存储 285
14.7.1 区块链存储系统简介 286
14.7.2 区块链存储系统优化 286
14.8 分离式数据中心架构 287
14.8.1 背景 287
14.8.2 架构特点及关键技术 288
14.8.3 未来趋势 291
14.9 高密度新型存储 292
14.9.1 叠瓦式磁存储 292
14.9.2 高密光存储 293
14.9.3 dna 存储 293
14.10 本章小结 294
14.11 思题 294
参文献 295
缩略语表 301