第 1章 Spark概述 1
任务1.1 认识Spark 1
1.1.1 Spark的发展 1
1.1.2 Spark的特点 2
1.1.3 Spark生态圈 4
1.1.4 Spark的应用场景 5
任务1.2 搭建Spark环境 5
1.2.1 搭建单机版环境 6
1.2.2 搭建单机伪分布式环境 6
1.2.3 搭建完全分布式环境 7
任务1.3 了解Spark运行架构与原理 10
1.3.1 Spark集群架构 11
1.3.2 Spark作业运行流程 11
1.3.3 Spark核心数据集RDD 15
1.3.4 Spark核心原理 17
小结 19
第 2章 Scala基础 20
任务2.1 Scala的简介与安装 21
2.1.1 Scala简介 21
2.1.2 Scala特性 21
2.1.3 Scala的环境设置及安装 21
2.1.4 运行Scala 23
任务2.2 定义函数识别号码类型 24
2.2.1 数据类型 24
2.2.2 常量和变量 25
2.2.3 表达式 26
2.2.4 数组 27
2.2.5 函数 29
2.2.6 任务实现 31
任务2.3 统计广州号码段数量 32
2.3.1 if判断 32
2.3.2 循环 33
2.3.3 任务实现 34
任务2.4 根据归属地对手机号码段分组 34
2.4.1 List 35
2.4.2 Set 36
2.4.3 Map 37
2.4.4 元组 38
2.4.5 函数组合器 38
2.4.6 任务实现 39
任务2.5 编写手机号码归属地信息查询程序 40
2.5.1 Scala类 40
2.5.2 Scala object 42
2.5.3 Scala模式匹配 42
2.5.4 Scala读取文件 44
2.5.5 任务实现 44
小结 45
实训 45
实训1 编写函数过滤文本中的回文单词 45
实训2 使用Scala编程输出杨辉三角 46
课后习题 46
第3章 Spark编程 48
任务3.1 以学生成绩数据创建RDD 49
3.1.1 从内存中已有数据创建RDD 50
3.1.2 从外部存储创建RDD 51
3.1.3 任务实现 52
任务3.2 查询学生成绩表中的前5名 52
3.2.1 使用map转换数据 52
3.2.2 使用sortBy()排序 53
3.2.3 使用collect()查询 53
3.2.4 使用flatMap转换数据 54
3.2.5 使用take()方式查询某几个值 54
3.2.6 任务实现 55
任务3.3 输出单科成绩为100分的学生ID 55
3.3.1 使用union()合并多个RDD 56
3.3.2 使用filter()进行过滤 56
3.3.3 使用distinct()进行去重 56
3.3.4 简单的集合操作 57
3.3.5 任务实现 58
任务3.4 输出每位学生所有科目的总成绩 58
3.4.1 键值对RDD简介 59
3.4.2 创建键值对RDD 59
3.4.3 转换操作keys与values 59
3.4.4 转换操作reduceByKey() 60
3.4.5 转换操作groupByKey() 60
3.4.6 任务实现 60
任务3.5 输出每位学生的平均成绩 61
3.5.1 使用join()连接两个RDD 61
3.5.2 使用zip组合两个RDD 63
3.5.3 使用combineByKey合并相同键的值 63
3.5.4 使用lookup查找指 定键的值 64
3.5.5 任务实现 64
任务3.6 将汇总后的学生成绩存储为文本文件 65
3.6.1 JSON文件的读取与存储 65
3.6.2 CSV文件的读取与存储 67
3.6.3 SquenceFile的读取与存储 69
3.6.4 文本文件的读取与存储 70
3.6.5 任务实现 71
小结 72
实训 72
实训1 统计文本中性别为“男”的用户数 73
实训2 单词计数 73
课后习题 74
第4章 Spark编程进阶 76
任务4.1 搭建开发环境 77
4.1.1 下载与安装IntelliJ IDEA 77
4.1.2 Scala插件安装与使用 79
4.1.3 配置Spark运行环境 84
4.1.4 运行Spark程序 85
任务4.2 使用移动平均预测股票涨跌 92
4.2.1 持久化（缓存） 93
4.2.2 数据分区 94
4.2.3 计算价格波动幅度 98
4.2.4 任务实现 100
小结 103
实训 103
实训 竞赛网站访问日志分析 104
课后习题 104
第5章 Spark SQL：结构化数据文件处理 107
任务5.1 认识Spark SQL 108
5.1.1 Spark SQL简介 108
5.1.2 Spark SQL CLI配置 109
5.1.3 Spark SQL与Shell交互 110
任务5.2 掌握DataFrame基础操作 111
5.2.1 创建DataFrame对象 111
5.2.2 DataFrame查看数据 114
5.2.3 DataFrame查询操作 117
5.2.4 DataFrame输出操作 123
任务5.3 探索分析法律服务网站数据 125
5.3.1 获取数据 125
5.3.2 网页类型分析 126
5.3.3 点击次数分析 131
5.3.4 网页排名分析 133
小结 135
实训 135
实训1 统计分析航空公司客户数据的空值以及异常值 135
实训2 统计分析某公司每年的产品销售量及销售额 137
课后习题 139
第6章 Spark Streaming：实时计算框架 141
任务6.1 初探Spark Streaming 142
6.1.1 Spark Streaming概述 142
6.1.2 Spark Streaming运行原理 142
6.1.3 初步使用Spark Streaming 143
任务6.2 掌握DStream编程模型 145
6.2.1 DStream简介 146
6.2.2 DStream转换操作 146
6.2.3 DStream窗口操作 148
6.2.4 DStream输出操作 151
任务6.3 Spark Streaming实时更新热门博文 155
6.3.1 Spark Streaming输入数据源 155
6.3.2 Spark Streaming计算网页热度 158
6.3.3 网页热度输出 158
6.3.4 任务实现 159
小结 161
实训 161
实训1 过滤打印包含单词error的记录 162
实训2 实时过滤歌曲播放次数超过100次的记录并存储在HDFS上 162
课后习题 162
第7章 Spark GraphX：图计算框架 165
任务7.1 认识Spark GraphX 166
7.1.1 图的基本概念 166
7.1.2 图计算的应用 167
7.1.3 GraphX的基础概念 168
7.1.4 GraphX的发展 168
任务7.2 了解GraphX常用API 169
7.2.1 图的创建与存储 169
7.2.2 数据查询与数据转换 174
7.2.3 结构转换与关联聚合 180
任务7.3 构建信任网络并找出目标用户 187
7.3.1 构建网站信任网络 188
7.3.2 找出需要支付稿酬的用户 188
7.3.3 找出进入热门榜的用户 189
小结 191
实训 191
实训1 使用PageRank算法完成网页排名 191
实训2 利用二度关系完成商品推荐 192
课后习题 194
第8章 Spark MLlib：功能强大的算法库 196
任务8.1 了解MLlib算法库 197
8.1.1 机器学习简介 197
8.1.2 MLlib介绍 198
任务8.2 以Logistic回归实现用户分类 212
8.2.1 分析思路 212
8.2.2 数据处理 213
8.2.3 MLlib实现Logistic回归 215
8.2.4 任务实现 217
小结 221
实训 221
实训1 通过KMeans定位商圈 221
实训2 朴素贝叶斯进行文本分类 222
课后习题 223
第9章 项目案例：餐饮平台菜品智能推荐 226
任务9.1 推荐方案设计 227
9.1.1 用户数据分析 227
9.1.2 常用推荐算法 229
9.1.3 推荐流程设计 231
任务9.2 数据预处理 232
9.2.1 原始数据探索分析 233
9.2.2 异常数据处理 237
9.2.3 数据变换处理 237
9.2.4 数据集分割 239
任务9.3 建立推荐模型 240
9.3.1 以基于用户的协同过滤算法建模 240
9.3.2 以基于物品的协同过滤算法建模 243
9.3.3 以基于Spark ALS的协同过滤算法建立模型 246
9.3.4 推荐模型的评测 251
任务9.4 使用模型进行菜品推荐 262
9.4.1 对某用户推荐10道新菜品 262
9.4.2 对所有用户进行新菜品推荐 267
占位居中
直播中，去观看