大数据技术基础与实战(高等学校信息技术人才能力培养系列教材) 大中专理科计算机 薛志东，张双双，卢璟祥等编著
举报
-
作者:
薛志东，张双双，卢璟祥等编著
-
出版社:
人民邮电出版社
-
ISBN:
9787115567192
-
出版时间:
2021-09
-
版次:
1
-
装帧:
平装
-
开本:
16开
-
页数:
236页
-
作者:
薛志东，张双双，卢璟祥等编著
-
出版社:
人民邮电出版社
-
ISBN:
9787115567192
-
出版时间:
2021-09
-
版次:
1
-
装帧:
平装
售价
￥
35.30
5.9折
定价
￥59.80
品相
全新品相描述
上书时间2024-03-02
卖家超过10天未登录
手机购买
![]()
微信扫码访问
-
-
商品描述：
-
主编：
1.全书通过实践作讲解大数据开发的基础知识，不仅提供相应命令、配置文件，还提供模拟环境演示等，尽可能通过案例和实，降低大数据学的门槛，力求让读者学以致用。2.内容全：大数据技术概述、linux基础与集群搭建、hadoop集群配置、hadoop分布式文件系统、mapreduce分布式编程、hive大数据仓库、hbase数据库部署与作、数据获取与采集、基于spark的内存计算以及利用大数据台处理图像及
目录：
章 大数据技术概述 1
1.1 大数据的概念与基本特 1
1.2 大数据处理流程 2
1.3 hadoop大数据技术 3
1.3.1 hadoop简介 3
1.3.2 hadoop的发行版本 5
1.4 实践环境准备 7
题 15
第2章 linux基础与集群搭建 16
2.1 linux常用命令 16
2.1.1 用户和用户组 16
2.1.2 文件与目录 18
2.1.3 主机名 24
2.1.4 分区管理 25
2.2 网络配置 27
2.2.1 基本网络配置 27
2.2.2 集群网络配置 28
2.3 linux集群配置 31
2.3.1 ssh密码登录 31
2.3.2 java环境安装 33
2.3.3 mysql服务 34
2.3.4 配置时钟同步 35
2.4 快速配置linux集群 37
2.4.1 导入虚拟机 37
2.4.2 快速配置 39
题 42
第3章 hadoop集群配置 43
3.1 hadoop集群安装 43
3.1.1 基础环境准备 43
3.1.2 配置java环境 49
3.1.3 安装hadoop 51
3.1.4 启动hadoop 58
3.2 hadoop集群初始化和志查看 62
3.2.1 初始化文件系统 62
3.2.2 集群的启动与停止 62
3.2.3 查看志 63
题 64
第4章 hdfs 65
4.1 hdfs简介 65
4.1.1 hdfs的基本概念 65
4.1.2 hdfs文件的读取 66
4.1.3 hdfs文件的写入 67
4.1.4 hdfs 数据备份 68
4.2 hdfs基本命令 69
4.3 hdfs数据衡优化 72
4.3.1 编程原则 73
4.3.2 衡逻辑 73
4.3.3 数据衡案例 74
4.4 hdfs api的使用方 75
题 81
第5章 mapreduce分布式编程 82
5.1 mapreduce简介 82
5.2 词频统计编程实例 83
5.3 mapreduce shuffle过程开发 89
5.3.1 mapreduce数据类型 90
5.3.2 partitioner负载衡编程 90
5.3.3 sort排序编程 92
5.3.4 biner减少中间数据编程 93
5.4 mapreduce的能优化 94
5.4.1 hadoop配置参数调优 94
5.4.2 使用合适的数据类型 95
5.4.3 基准能测试工具 96
5.5 yarn数据处理框架 99
5.5.1 yarn常用命令 100
5.5.2 使用web gui监控实例 102
5.6 mapreduce实战：绘制频度分布 104
5.6.1 实战概述 104
5.6.2 实战步骤 104
5.6.3 源码分析 109
题 114
第6章 hive大数据仓库 115
6.1 hive简介 115
6.2 hive安装及配置 116
6.3 从创建数据库到创建表 118
6.3.1 数据类型 118
6.3.2 创建数据库 119
6.3.3 创建表 119
6.3.4 删除表 121
6.3.5 修改表 121
6.4 数据查询及自定义函数运算 123
6.4.1 hiveql作 123
6.4.2 join语句 124
6.4.3 内置作符和函数 125
6.5 hive自定义函数编程 128
6.5.1 数据准备 128
6.5.2 编程实现 129
6.5.3 使用自定义函数 130
6.6 hive实战 132
6.6.1 数据准备 133
6.6.2 实战步骤 133
题 136
第7章 hbase数据库部署与作 138
7.1 hbase简介 138
7.1.1 hbase表 138
7.1.2 hbase基本知识 138
7.2 hbase的安装 139
7.2.1 必要条件 139
7.2.2 安装配置hbase 140
7.2.3 启动hbase 142
7.3 hbase shell作 143
7.3.1 普通命令 145
7.3.2 ddl作 146
7.3.3 dml作 148
7.3.4 工具命令 150
7.3.5 复制命令 151
7.4 hbase客户端api 151
7.4.1 crud作 151
7.4.2 批量处理 155
7.4.3 行锁 156
7.4.4 扫描 157
7.4.5 数据过滤 158
7.5 hbase客户端选择及配置优化 159
7.6 hbase与mapreduce集成 159
7.7 hbase集群监控 160
7.8 hbase实战：公有云网盘系统管理 164
7.8.1 部署公有云网盘 165
7.8.2 网盘核心代码分析 168
题 171
第8章 数据获取与flume应用 172
8.1 公开数据资源获取 172
8.2 使用网络爬虫获取数据 173
8.2.1 爬虫的工作 173
8.2.2 爬虫的搜索策略 174
8.2.3 爬虫的简单应用 175
8.3 使用flume获取数据 177
8.3.1 flume简介 177
8.3.2 flume运行机制 177
8.3.3 flume安装部署 179
8.3.4 flume简单应用 180
8.4 综合案例 182
题 186
第9章 基于spark的内存计算 187
9.1 spark简介 187
9.2 spark快速部署 188
9.2.1 spark单机模式部署 188
9.2.2 spark分布式集群部署 189
9.3 spark程序 192
9.3.1 spark shell 192
9.3.2 在idea中编写词频统计 193
9.4 spark rdd编程 197
9.4.1 rdd简介 197
9.4.2 rdd的作算子 198
9.4.3 rdd的持久化 204
9.5 spark生态系统 205
9.5.1 spark core 206
9.5.2 spark sql 206
9.5.3 spark streaming 206
9.5.4 mllib 206
9.5.5 graphx 207
9.6 spark应用案例 207
9.6.1 案例概述 207
9.6.2 代码实现 208
9.6.3 运行结果 208
题 209
0章 利用大数据台处理图像 210
10.1 图像的基本概念 210
10.2 hadoop处理图像的问题与对策 211
10.2.1 hadoop直接处理图像存在的问题 211
10.2.2 解决途径 212
10.3 hipi安装与部署 212
10.4 使用hipi进行图像处理 214
10.5 hipi工具hibdownload 222
10.5.1 编译hibdownload 222
10.5.2 hibdownload的使用方 222
10.5.3 hibdownload的工作 222
10.5.4 hibdownload的使用示例 230
题 235
参文献 236
内容简介：
本书从实战的角度出发，带领读者一步一步学大数据技术的相关技能。本书不仅提供相应命令、配置文件，还提供模拟环境演示等，并尽可能通过案例和实降低大数据技术的学门槛，力求让读者学以致用。本书主要内容包括大数据技术概述、linux基础与集群搭建、hadoop集群配置、hdfs、mapreduce分布式编程、hive大数据仓库、hbase数据库部署与作、数据获取与flume应用、基于spark的内存计算，以及利用大数据台处理图像。本书可作为数据科学与大数据、大数据技术与应用、软件工程、计算机科学与技术等专业的大数据实训课程的教材，也可供初学者自学使用。
作者简介：
薛志东，博士，研究员，现在华中科技大学软件学院工作，长期从事大数据相关与科研工作。先后讲授多门本科生、课程，承担多项自然科学、湖北省自然科学、华为技术公司委托等重要项目。目前的研究主要涉及大数据处理相关领域等，如基于云计算的图像与等信息处理技术、医学与生物信息处理与分析、文本挖掘、深度学、gpu开发等；同时对移动应用、康复游戏、无人机、机器人应用软件开发等有浓厚的兴趣。
![]()
孔网啦啦啦啦啦纺织女工火锅店第三课
开播时间：09月02日 10:30
即将开播，去预约
直播中，去观看
占位居中
