全新正版 极速发货 可开发票
-
作者:
孙志伟
-
出版社:
人民邮电
-
ISBN:
9787115561572
-
出版时间:
2021-05
-
装帧:
平装
-
开本:
其他
-
ISBN:
9787115561572
-
出版时间:
2021-05
售价
￥
48.59
7.0折
定价
￥69.80
品相
全新
上书时间2024-04-17
卖家超过10天未登录
手机购买
![]()
微信扫码访问
-
-
商品描述：
-
作者简介
孙志伟
金山云数据平台架构师，专注于Hadoop生态和数据平台建设，曾就职于网易、转转等互联网公司。对大数据处理、分布式计算与数据采集有着浓厚的兴趣。一直从事Hadoop研发与运维工作，努力钻研技术并坚持分享。有着丰富的一线研发与运维经验，是多个社区的Contributor，积极活跃于开源社区。
硕士，毕业于华北电力大学。
目录
目 录
第 1章 Hadoop1
1.1 简介1
1.1.1 Hadoop 1.01
1.1.2 Hadoop 2.03
1.2 Hadoop 3.04
1.3 阅读Hadoop源码6
1.3.1 单元测试8
1.3.2 断点调试代码11
1.4 小结13
第 2章 HDFS14
2.1 HDFS简介14
2.2 解析NameNode中的元数据及其内存结构15
2.2.1 解析NameNode中的元数据16
2.2.2 解析NameNode的内存结构19
2.3 解析NameNode的HA功能23
2.3.1 基于QJM的HA23
2.3.2 故障转移26
2.3.3 多NameNode模式28
2.4 HDFS的Federation29
2.4.1 基于viewfs的Federation30
2.4.2 基于Router的Federation31
2.5 纠删码32
2.5.1 纠删码的原理33
2.5.2 HDFS EC35
2.5.3 HDFS EC的实现38
2.5.4 对比HDFS EC策略与三副本策略49
2.6 下一代对象存储系统Ozone50
2.6.1 Ozone初体验50
2.6.2 Ozone架构53
2.7 小结55
第3章 YARN56
3.1 YARN简介56
3.2 解析ResourceManager的HA功能60
3.2.1 故障转移61
3.2.2 数据恢复63
3.3 YARN Federation65
3.3.1 架构65
3.3.2 Router66
3.3.3 State Store和Policy Store69
3.3.4 AMRMProxy69
3.3.5 跨子集群运行74
3.4 中央调度器75
3.4.1 Capacity调度器76
3.4.2 Fair调度器78
3.4.3 调度扩展90
3.5 分布式调度器96
3.5.1 分布式调度器的架构97
3.5.2 opportunistic container98
3.6 YARN Shared Cache99
3.6.1 资源本地化100
3.6.2 Shared Cache的架构101
3.6.3 Shared Cache实例102
3.7 小结104
第4章 Application on YARN105
4.1 MapReduce的简介105
4.2 MapReduce的源码分析106
4.2.1 InputSplit107
4.2.2 环形缓冲区109
4.2.3 溢写和归并112
4.2.4 Shuffle113
4.3 MapReduce on YARN119
4.3.1 YARN的事件机制和状态机机制119
4.3.2 MR ApplicationMaster123
4.4 Application on YARN124
4.5 小结129
第5章 实战指南130
5.1 Hadoop 3.x的部署130
5.1.1 Hadoop 3.x HA的部署130
5.1.2 Hadoop 3.x Federation的部署145
5.2 Hadoop升级149
5.2.1 Hadoop 2.0升级为Hadoop 3.0151
5.2.2 Hadoop 3.0降级为Hadoop 2.0155
5.2.3 升级/降级中遇到的问题155
5.3 二次开发160
5.3.1 与其他自研系统融合160
5.3.2 自身功能扩展之自动识别修复后的数据盘163
5.3.3 合并社区Patch166
5.3.4 提交Pull Request167
5.4 周边系统平台169
5.4.1 任务调度平台169
5.4.2 监控平台170
5.4.3 集群诊断分析平台174
5.5 小结176
内容摘要
本书主要分析Hadoop3.2.0的新特性和新功能，共5章。首先简单介绍Hadoop，让刚接触Hadoop的读者对它有个基本了解；接着介绍目前使用比较多的分布式文件系统HDFS，内容涉及NameNode的原理、HA、HDFSFederation和HDFS3.0中新增的特性；然后从应用管理和资源调度这两个方面介绍一个通用的资源管理平台YARN；再后讨论如何在YARN平台中运行应用，比如如何将应用迁移到YARN平台，以及非Hadoop的应用是如何兼容YARN模式的。最后，书中给出了一些工作实战指南，包括如何搭建一个生产可用的Hadoop3.0集群；如何将现有Hadoop2.0集群升级到Hadoop3.0，及其在升级过程中遇到的问题；如何针对Hadoop进行二次开发，并参与社区，向社区贡献代码；一个大数据平台应具备哪些必备组件等。
主编推荐
1. 本书内容基于全新的Hadoop3.x，主要分析Hadoop 3.2.0的新特性和新功能。
2. 本书作者孙志伟为金山云数据平台架构师，主要专注于Hadoop的研究。
3. 本书内容源于企业级真实实践，覆盖了完整的Hadoop生态系统，为大数据入门者给予循序渐进的实战指导。
4. 阿里云数据库不错产品专家黄鹏程、奈学教育创始人&CEO孙玄、金山云研发总监陈斌联合推荐。
媒体评论
Hadoop 作为大数据技术很典型的基础架构组件，其迭代演进体现了整个大数据技术的重要发展方向。这本书以近期新版 Hadoop 3 为切入点，深入介绍了该版本中 HDFS 和 YARN 的诸多新特性，以及平台部署升级与二次开发，是大数据开发与运维人员快速了解并在实际工作中使用 Hadoop 3 的重要图书。
黄鹏程 阿里云数据库不错产品专家
作者一直从事 Hadoop 平台研发工作，是 Hadoop领域的资深专家，共事2年，他帮助我们公司大幅度提升了大数据平台稳定性。
这本书源于企业级真实实践，覆盖了完整的Hadoop系统生态。作者通过企业级的真实案例，深入浅出剖析Hadoop平台的工程架构，让读者真正掌握Hadoop系统设计的哲学本质，从而能够在面向不同业务场景时，给出优雅的大数据解决方案，真正达到企业降本增效的目的。
本书是 Hadoop 领域实践类好书，特推荐之。
孙玄 奈学教育创始人&CEO，前58集团技术委员会主席
现代科技背景下，每个企业都有产生大数据的能力，数据规模庞大并且纷繁复杂，大家都希望从海量的数据中挖掘到价值。Hadoop 从诞生之始就肩负这样的使命，整个处理架构历经十几年的不断迭代，仍然是大部分工程师入门大数据的奠基石。本书对 Hadoop 3 底层进行剖析，给大数据入门者循序渐进的实战指导，也为已经在大数据行业的从业者进行了系统性的梳理。
陈斌 金山云研发总监
![]()
孔网啦啦啦啦啦纺织女工火锅店第三课
开播时间：09月02日 10:30
即将开播，去预约
直播中，去观看
占位居中
