纠删码存储集群系统设计与优化【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

纠删码存储集群系统设计与优化PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 纠删码存储的研究意义1

1.1.1 大规模可靠存储的应用需求1

1.1.2 副本方式具有低空间利用率3

1.1.3 纠删码具有高存储效率特性5

1.2 纠删码存储的研究现状6

1.2.1 纠删码存储方案的分类6

1.2.2 纠删码存储的国内研究现状7

1.2.3 纠删码存储集群的国外研究现状7

1.2.4 纠删码存储集群关键技术的研究概况9

1.3 纠删码存储集群的研究范畴15

1.3.1 纠删码存储的存取过程15

1.3.2 纠删码存储集群的I／O优化17

1.4 章节安排21

第2章 纠删码存储的理论基础24

2.1 纠删编码的基本理论24

2.1.1 容错原理24

2.1.2 RS编码24

2.1.3 LDPC编码26

2.1.4 阵列编码27

2.2 阵列码存储29

2.2.1 阵列码应用于外存29

2.2.2 阵列码应用于内存31

2.3 纠删码存储集群32

2.3.1 分布式存储系统概述32

2.3.2 基于纠删码的存储集群33

2.3.3 条带数据一致性约束35

2.4 Jerasure编码库36

2.4.1 运算模块36

2.4.2 具体函数36

2.5 术语与符号定义38

2.6 本章小结40

第3章 感知QoS和异构性的正常读方案41

3.1 存储集群的异构性41

3.1.1 存储硬件差异性41

3.1.2 访问负载动态性42

3.2 己有的动态读取优化算法42

3.3 面向QoS的正常读方案43

3.3.1 总体思路43

3.3.2 发起变换读的基准44

3.3.3 响应时间估计46

3.3.4 变换节点集选择47

3.4 性能评估48

3.4.1 实验环境48

3.4.2 测试方法与原型系统设计48

3.4.3 实验结果与分析50

3.5 本章小结53

第4章 局部式小写更新方案54

4.1 数据更新基本原理54

4.2 现有数据更新方案55

4.2.1 写更新优化思路56

4.2.2 DUM更新方案57

4.2.3 PUM更新方案58

4.3 局部式更新优化方案（PUM-P和PDN-P）59

4.3.1 PUM-P更新方案59

4.3.2 PDN-P更新方案61

4.3.3 算法分析与比较62

4.3.4 混合式更新方案63

4.4 性能评估65

4.4.1 实验环境65

4.4.2 原型与测试方法65

4.4.3 实验结果与分析66

4.5 本章小结70

第5章 异构集群下负载感知的读取方法71

5.1 存储异构性及应对思路71

5.2 负载感知的重构读策略（LaRS）72

5.2.1 现有重构读策略在异构集群下的不足72

5.2.2 LaRS概述73

5.2.3 原理分析74

5.2.4 LaRS具体流程75

5.2.5 存活分块分布图的生成75

5.2.6 存活节点性能权值的更新77

5.2.7 具体实例78

5.3 自适应降级读优化策略（ADRS）80

5.3.1 现有降级读应对方案80

5.3.2 降级读优化策略81

5.3.3 ADRS原型设计84

5.4 性能评估85

5.4.1 实验环境85

5.4.2 原型和测试方法86

5.4.3 重构读实验结果和分析87

5.4.4 降级读实验结果与分析89

5.5 本章小结90

第6章 基于流水线方式的离线重构方案91

6.1 传统集中式离线重构方法91

6.1.1 重构工作流91

6.1.2 PULL传输模式92

6.1.3 PULL-Rep重构方法93

6.1.4 PULL-Sur重构方法94

6.2 流水线式离线重构模式（PUSH）95

6.2.1 PUSH-Rep重构方法96

6.2.2 PUSH-Sur重构方法96

6.2.3 重构链的设计97

6.3 模型建立与验证98

6.3.1 重构时间模型99

6.3.2 模型验证102

6.4 实验评估与分析104

6.4.1 实验环境104

6.4.2 实验结果与分析104

6.4.3 方案适用性讨论107

6.5 本章小结108

第7章 基于内存I／O重定向的在线重构方案109

7.1 在线重构中I／O互扰问题109

7.1.1 在线重构过程109

7.1.2 用户I／O和重构I／O的相互干扰110

7.2 基于内存I／O重定向的在线重构（RAM-RS）111

7.2.1 写重定向机制111

7.2.2 RAM-RS的设计思想112

7.2.3 RAM-RS的I／O处理方式114

7.3 基于RS码的内存区域117

7.3.1 RS码内存区域的参数确定117

7.3.2 混合式RS码内存区域118

7.4 性能评估118

7.4.1 原型与测试方法119

7.4.2 实验结果与分析119

7.4.3 实验小结125

7.5 本章小结125

第8章 面向最小化网络流量的扩容方案126

8.1 存储扩容概述与背景126

8.1.1 存储扩容的研究动机126

8.1.2 RS码集群下数据写过程127

8.1.3 挑战与对策128

8.1.4 集群扩容模式129

8.2 集群扩容方案设计（Scale-RS）129

8.2.1 基本设计思路129

8.2.2 数据分块迁移131

8.2.3 校验分块更新134

8.2.4 Scale-RS特点分析135

8.3 扩容性能优化设计135

8.3.1 写聚合优化135

8.3.2 延迟更新优化136

8.4 实验评估136

8.4.1 实验环境136

8.4.2 实验方案和测试方法137

8.4.3 实验结果与分析137

8.4.4 实验小结140

8.4.5 方案适用性讨论141

8.5 本章小结141

第9章 采用流水线编码来归档副本数据143

9.1 纠删码归档概述143

9.2 机架感知的链式分散布局144

9.3 流水线归档策略146

9.3.1 单链流水线归档策略147

9.3.2 多链流水线归档策略150

9.3.3 集中式策略与流水线策略的对比分析151

9.3.4 在r＝4下的适用性考虑153

9.4 基于MCP模式的两种归档方案（DP／3X）154

9.4.1 现有纠删码归档方案概述155

9.4.2 基于链式分散机制的两种数据布局156

9.4.3 流水线数据归档方案DP和3X157

9.4.4 归档开销分析159

9.5 实验评估161

9.5.1 实验环境161

9.5.2 评估方法161

9.5.3 实验结果与分析162

9.6 本章小结164

第10章 用于存储集群的节点级节能方案166

10.1 存储节能的研究意义166

10.2 纠删码存储集群的节能方案167

10.2.1 基本研究思路167

10.2.2 基于RS码的集群节能存储框架168

10.2.3 冗余数据缓存机制169

10.2.4 缓存数据布局方案170

10.2.5 I／O存取策略171

10.2.6 自适应缓存阈值173

10.2.7 选择性节点激活策略173

10.3 可靠性模型与能耗模型174

10.3.1 符号定义174

10.3.2 可靠性评估175

10.3.3 缓存空间的确定177

10.3.4 缓存阈值的确定177

10.3.5 能耗模型178

10.4 实验测试180

10.4.1 测试环境180

10.4.2 实验方法180

10.4.3 实验结果与分析181

10.4.4 实验小结184

10.5 本章小结185

参考文献186