PaddlePaddle与深度学习应用实战

深度学习是目前人工智能研究中前沿、有效的一项技术，主要通过构建深度神经网络解决视觉、自然语言处理、语音识别等诸多领域的问题。百度在2016年发布了国内首个开源深度学习框架PaddlePaddle，简化了深度学习算法的实现步骤，提供了灵活、易用的接口，同时支持分布式训练。本书由简单的例子引入深度学习和PaddlePaddle框架，介绍了PaddlePaddle的安装、测试与基本使用，并结合PaddlePaddle接口介绍深度学习的基础知识，包括常用的神经网络和算法。*后，通过一系列深度学习项目实例介绍PaddlePaddle在各种场景和问题中的应用，让读者由浅至深地理解并运用深度学习解决实际问题。

程天恒，从PaddlePaddle框架开源开始使用至今，积累了丰富的使用经验。参加过亚洲超级计算竞赛、RDMA编程比赛等，并在这些比赛中获得过奖项，目前专注于深度学习科研工作，主要研究领域为计算机视觉、深度强化学习。

第1 章 深度学习简介 .............................................................................................................. 1

1.1 初见 ....................................................................................................................................... 1

1.2 机器学习 ............................................................................................................................... 1

1.3 神经网络 ............................................................................................................................... 3

1.4 深度学习介绍 ....................................................................................................................... 7

1.5 深度学习应用 ....................................................................................................................... 8

1.6 深度学习框架 ..................................................................................................................... 12

1.7 深度学习的未来 ................................................................................................................. 15

第2 章 PaddlePaddle 简介 ................................................................................................... 16

2.1 安装PaddlePaddle ............................................................................................................... 16

2.2 测试PaddlePaddle ............................................................................................................... 29

第3 章 初探手写数字识别 .................................................................................................... 31

第4 章 PaddlePaddle 基本用法 ........................................................................................... 44

4.1 数据准备 ............................................................................................................................. 44

4.2 原始数据读取及预处理 ..................................................................................................... 44

4.3 PaddlePaddle 训练数据 ....................................................................................................... 46

4.4 模型配置 ............................................................................................................................. 52

4.5 激活函数 ............................................................................................................................. 58

4.6 优化方法 ............................................................................................................................. 64

4.7 损失函数 ............................................................................................................................. 72

4.8 均方损失函数 ..................................................................................................................... 73

4.9 交叉熵损失函数 ................................................................................................................. 73

4.10 Huber 损失函数 ................................................................................................................ 74

4.11 CRF 损失函数 ................................................................................................................... 74

4.12 CTC 损失函数 ................................................................................................................... 75

4.13 反向传播算法 ................................................................................................................... 75

第5 章 卷积神经网络 ............................................................................................................ 78

5.1 卷积神经网络 ..................................................................................................................... 78

5.2 实例学习 ............................................................................................................................. 87

5.3 拓展 ................................................................................................................................... 112

第6 章 循环神经网络 .......................................................................................................... 118

6.1 RNN 简介 .......................................................................................................................... 118

6.2 双向循环神经网络 ........................................................................................................... 121

6.3 循环神经网络使用场景 ................................................................................................... 127

6.4 预测sin 函数序列 ............................................................................................................. 129

6.5 拓展 ................................................................................................................................... 134

第7 章 PaddlePaddle 实战 ................................................................................................. 136

7.1 自编码器 ........................................................................................................................... 136

7.2 PaddlePaddle 实现自编码器 ............................................................................................. 137

7.3 实战OCR 识别（一） ..................................................................................................... 140

7.4 实战OCR 识别（二） ..................................................................................................... 150

7.5 情感分析 ........................................................................................................................... 164

7.6 Seq2Seq 及其应用 ............................................................................................................ 172

7.7 实现 ................................................................................................................................... 178

7.8 Image Caption .................................................................................................................... 194

第8 章 深度学习新星：生成对抗网络GAN ....................................................................... 208

8.1 生成对抗网络（GAN） ................................................................................................... 208

8.2 GAN 的其他应用 .............................................................................................................. 213

第9 章 强化学习与AlphaGo .............................................................................................. 216