Python数据分析与挖掘实战（第2版）

本书是Python数据分析与挖掘领域的公认的事实标准，第1版销售超过10万册，销售势头依然强劲，被国内100余所高等院校采用为教材，同时也被广大数据科学工作者奉为经典。

作者在大数据挖掘与分析等领域有10余年的工程实践、教学和创办企业的经验，不仅掌握行业的新技术和实践方法，而且洞悉学生和老师的需求与痛点，这为本书的内容和形式提供了强有力的保障，这是本书第1版能大获成功的关键因素。

全书共13章，分为三个部分，从技术理论、工程实践和进阶提升三个维度对数据分析与挖掘进行了详细的讲解。

第一部分 基础篇（第1～5章）

主要讲解了Python数据分析与挖掘的工具和技术理论，包括数据挖掘的基础知识、Python数据挖掘与建模工具、数据挖掘的建模过程，以及挖掘建模的常用算法和原理等内容。

第二部分 实战篇（第6～12章）

通过工程实践案例讲解了数据挖掘技术在金融、航空、零售、能源、制造、电商等行业的应用。在案例组织结构上，本书按照“介绍案例背景与挖掘目标→阐述分析方法与过程→完成模型构建”的顺序进行，在建模过程关键环节，穿插程序实现代码。最后，通过上机实践加深对案例应用中的数据挖掘技术的理解。

第三部分 提高篇（第13章）

重点讲解了基于Python引擎的开源数据挖掘建模平台（TipDM）的功能和使用方法，以航空公司客户价值分析为案例，介绍了如何使用该平台快速搭建数据分析与挖掘工程。

本书不仅提供TipDM这样的上机实践环境，而且还提供配套的案例建模数据、Python源代码、教学PPT。

张良均

资深大数据挖掘与分析专家、模式识别专家、AI技术专家。有10余年大数据挖掘与分析经验，擅长Python、R、Hadoop、Matlab等技术实现的数据挖掘与分析，对机器学习等AI技术驱动的数据分析也有深入研究。

为电信、电力、政府、互联网、生产制造、零售、银行、生物、化工、医药等多个行业上百家大型企业提供过数据挖掘应用与咨询服务，实践经验非常丰富。

华南师范大学、中南财经政法大学、广东工业大学、西安理工大学、广西科技大学、重庆交通大学、桂林电子科技大学等校外硕导或兼职教授。

撰写了《R语言数据分析与挖掘实战》《数据挖掘：实用案例分析》《Hadoop大数据分析与挖掘实战》等10余部畅销书，累计销售超过30万册。

前言

基础篇

第1章　数据挖掘基础 2

1.1　某知名连锁餐饮企业的困惑 2

1.2　从餐饮服务到数据挖掘 4

1.3　数据挖掘的基本任务 5

1.4　数据挖掘建模过程 5

1.4.1　定义挖掘目标 6

1.4.2　数据取样 6

1.4.3　数据探索 7

1.4.4　数据预处理 8

1.4.5　挖掘建模 8

1.4.6　模型评价 8

1.5　常用数据挖掘建模工具 9

1.6　小结 11

第2章　Python数据分析简介 12

2.1　搭建Python开发平台 14

2.1.1　所要考虑的问题 14

2.1.2　基础平台的搭建 14

2.2　Python使用入门 16

2.2.1　运行方式 16

2.2.2　基本命令 17

2.2.3　数据结构 19

2.2.4　库的导入与添加 24

2.3　Python数据分析工具 26

2.3.1　NumPy 27

2.3.2　SciPy 28

2.3.3　Matplotlib 29

2.3.4　pandas 31

2.3.5　StatsModels 33

2.3.6　scikit-learn 33

2.3.7　Keras 34

2.3.8　Gensim 36

2.4　配套附件使用设置 37

2.5　小结 38

第3章　数据探索 39

3.1　数据质量分析 39

3.1.1　缺失值分析 40

3.1.2　异常值分析 40

3.1.3　一致性分析 44

3.2　数据特征分析 44

3.2.1　分布分析 44

3.2.2　对比分析 48

3.2.3　统计量分析 51

3.2.4　周期性分析 54

3.2.5　贡献度分析 55

3.2.6　相关性分析 58

3.3　Python主要数据探索函数 62

3.3.1　基本统计特征函数 62

3.3.2　拓展统计特征函数 66

3.3.3　统计绘图函数 67

3.4　小结 74

第4章　数据预处理 75

4.1　数据清洗 75

4.1.1　缺失值处理 75

4.1.2　异常值处理 80

4.2　数据集成 80

4.2.1　实体识别 81

4.2.2　冗余属性识别 81

4.2.3　数据变换 81

4.2.4　简单函数变换 81

4.2.5　规范化 82

4.2.6　连续属性离散化 84

4.2.7　属性构造 87

4.2.8　小波变换 88

4.3　数据归约 91

4.3.1　属性归约 91

4.3.2　数值归约 95

4.4　Python主要数据预处理函数 98

4.5　小结 101

第5章　挖掘建模 102

5.1　分类与预测 102

5.1.1　实现过程 103

5.1.2　常用的分类与预测算法 103

5.1.3　回归分析 104

5.1.4　决策树 108

5.1.5　人工神经网络 115

5.1.6　分类与预测算法评价 120

5.1.7　Python分类预测模型特点 125

5.2　聚类分析 125

5.2.1　常用聚类分析算法 126

5.2.2　K-Means聚类算法 127

5.2.3　聚类分析算法评价 132

5.2.4　Python主要聚类分析算法 133

5.3　关联规则 135

5.3.1　常用关联规则算法 136

5.3.2　Apriori算法 136

5.4　时序模式 142

5.4.1　时间序列算法 142

5.4.2　时间序列的预处理 143

5.4.3　平稳时间序列分析 145

5.4.4　非平稳时间序列分析 148

5.4.5　Python主要时序模式算法 156

5.5　离群点检测 159

5.5.1　离群点的成因及类型 160

5.5.2　离群点检测方法 160

5.5.3　基于模型的离群点检测方法 161

5.5.4　基于聚类的离群点检测方法 164

5.6　小结 167

实战篇

第6章　财政收入影响因素分析及预测 170

6.1　背景与挖掘目标 170

6.2　分析方法与过程 171

6.2.1　分析步骤与流程 172

6.2.2　数据探索分析 172

6.2.3　数据预处理 176

6.2.4　模型构建 178

6.3　上机实验 184

6.4　拓展思考 185

6.5　小结 186

第7章　航空公司客户价值分析 187

7.1　背景与挖掘目标 187

7.2　分析方法与过程 188

7.2.1　分析步骤与流程 189

7.2.2　数据探索分析 189

7.2.3　数据预处理 200

7.2.4　模型构建 207

7.2.5　模型应用 212

7.3　上机实验 214

7.4　拓展思考 215

7.5　小结 216

第8章　商品零售购物篮分析 217

8.1　背景与挖掘目标 217

8.2　分析方法与过程 218

8.2.1　数据探索分析 219

8.2.2　数据预处理 224

8.2.3　模型构建 226

8.3　上机实验 232

8.4　拓展思考 233

8.5　小结 233

第9章　基于水色图像的水质评价 234

9.1　背景与挖掘目标 234

9.2　分析方法与过程 235

9.2.1　分析步骤与流程 236

9.2.2　数据预处理 236

9.2.3　模型构建 240

9.2.4　水质评价 241

9.3　上机实验 242

9.4　拓展思考 242

9.5　小结 243

第10章　家用热水器用户行为分析与事件识别 244

10.1　背景与挖掘目标 244

10.2　分析方法与过程 245

10.2.1　数据探索分析 246

10.2.2　数据预处理 249

10.2.3　模型构建 260

10.2.4　模型检验 261

10.3　上机实验 262

10.4　拓展思考 264

10.5　小结 265

第11章　电子商务网站用户行为分析及服务推荐 266

11.1　背景与挖掘目标 266

11.2　分析方法与过程 267

11.2.1　分析步骤与流程 267

11.2.2　数据抽取 269

11.2.3　数据探索分析 270

11.2.4　数据预处理 279

11.2.5　构建智能推荐模型 283

11.3　上机实验 291

11.4　拓展思考 293

11.5　小结 293

第12章　电商产品评论数据情感分析 294

12.1　背景与挖掘目标 294

12.2　分析方法与过程 295

12.2.1　评论预处理 296

12.2.2　评论分词 297

12.2.3　构建模型 303

12.3　上机实验 315

12.4　拓展思考 316

12.5　小结 318

提高篇

第13章　基于Python引擎的开源数据挖掘建模平台（TipDM） 320

13.1　平台简介 321

13.1.1　模板 321

13.1.2　数据源 322

13.1.3　工程 323

13.1.4　系统组件 324

13.1.5　TipDM数据挖掘建模平台的本地化部署 326

13.2　快速构建数据挖掘工程 327

13.2.1　导入数据 329

13.2.2　配置输入源组件 331

13.2.3　配置缺失值处理组件 332

13.2.4　配置记录选择组件 334

13.2.5　配置数据标准化组件 334

13.2.6　配置K-Means组件 336

13.3　小结 339