bert基础教程:transformer大模型实战 编程语言 [印] 苏达哈尔桑·拉维昌迪兰(sudharsan ravichandiran) 新华正版
举报
-
作者:
[印] 苏达哈尔桑·拉维昌迪兰(sudharsan ravichandiran)
-
出版社:
人民邮电出版社
-
ISBN:
9787115603722
-
出版时间:
2022-10
-
作者:
[印] 苏达哈尔桑·拉维昌迪兰(sudharsan ravichandiran)
-
出版社:
人民邮电出版社
-
ISBN:
9787115603722
售价
¥
57.70
6.4折
定价
¥89.80
品相
全新品相描述
上书时间2023-03-22
此商品已售罄
手机购买
微信扫码访问
-
-
商品描述:
-
主编:
轻松上手:循序渐进,引导你亲手训练和理解bert模型以简驭繁:示意图丰富,逐步拆解复杂,小白也能看懂运用自如:呈现多种下游任务,凝聚实战经验,助你灵活运用详细系统:详细讲解十余种bert变体的,配套大量示例和题
目录:
部分开始使用bert
章transformer概览2
1.1transformer简介2
1.2理解编码器3
1.2.1自注意力机制5
1.2.2多头注意力层14
1.2.3通过位置编码来置16
1.2.4前馈网络层19
1.2.5叠加和归一组件19
1.2.6编码器览20
1.3理解解码器21
1.3.1带掩码的多头注意力层25
1.3.2多头注意力层30
1.3.3前馈网络层34
1.3.4叠加和归一组件34
1.3.5线层和softmax层35
1.3.6解码器览36
1.4整合编码器和解码器38
1.5训练transformer39
1.6小结39
1.7题40
1.8深入阅读40
第2章了解bert模型41
2.1bert的基本理念41
2.2bert的工作43
2.3bert的配置45
2.3.1bert-base46
2.3.2bert-large46
2.3.3bert的其他配置47
2.4bert模型预训练48
2.4.1输入数据49
2.4.2预训练策略53
2.4.3预训练过程61
2.5子词词元化算63
2.5.1字节对编码64
2.5.2字节级字节对编码69
2.5.3wordpiece69
2.6小结71
2.7题72
2.8深入阅读72
第3章bert实战73
3.1预训练的bert模型73
3.2从预训练的bert模型中提取嵌入74
3.2.1hugging face的transformers库77
3.2.2bert嵌入的生成77
3.3从bert的所有编码器层中提取嵌入81
3.4针对下游任务进行微调.85
3.4.1文本分类任务86
3.4.2自然语言推理任务91
3.4.3问答任务93
3.4.4命名实体识别任务97
3.5小结98
3.6题99
3.7深入阅读99
第二部分探索bert变体
第4章bert变体(上):albert、roberta、electra和spanbert102
4.1bert的精简版albert103
4.1.1跨层参数共享103
4.1.2嵌入层参数因子分解104
4.1.3训练albert模型105
4.1.4对比albert与bert106
4.2从albert中提取嵌入107
4.3了解roberta108
4.3.1使用动态掩码而不是静态掩码108
4.3.2移除下句预测任务110
4.3.3用更多的数据集进行训练111
4.3.4以大批量的方式进行训练111
4.3.5使用字节级字节对编码作为子词词元化算111
4.4了解electra114
4.4.1了解替换标记检测任务114
4.4.2electra的生成器和判别器117
4.4.3训练electra模型120
4.4.4高效的训练方121
4.5用spanbert预测文本段122
4.5.1了解spanbert的架构122
4.5.2深入了解spanbert124
4.5.3将预训练的spanbert用于问答任务125
4.6小结126
4.7题127
4.8深入阅读127
第5章bert变体(下):基于知识蒸馏128
5.1知识蒸馏简介129
5.2distilbert模型——bert模型的知识蒸馏版本134
5.2.1教师学生架构134
5.2.2训练学生bert模型(distilbert模型)136
5.3tinybert模型简介138
5.3.1教师学生架构139
5.3.2tinybert模型的蒸馏140
5.3.3终损失函数145
5.3.4训练学生bert模型(tinybert模型)145
5.4将知识从bert模型迁移到神经网络中149
5.4.1教师学生架构149
5.4.2训练学生网络151
5.4.3数据增强方151
5.5小结153
5.6题153
5.7深入阅读154
第三部分bert模型的应用
第6章用于文本摘要任务的bertsum模型156
6.1文本摘要任务156
6.1.1提取式摘要任务157
6.1.2抽象式摘要任务158
6.2为文本摘要任务微调bert模型158
6.2.1使用bert模型执行提取式摘要任务158
6.2.2使用bert模型执行抽象式摘要任务167
6.3理解rouge评估指标169
6.3.1理解rouge-n指标169
6.3.2理解rouge-l指标171
6.4bertsum模型的能172
6.5训练bertsum模型172
6.6小结174
6.7题174
6.8深入阅读175
第7章将bert模型应用于其他语言176
7.1理解多语言bert模型177
7.2m-bert模型的多语言表现182
7.2.1词汇重叠的影响182
7.2.2跨文本书写的通用183
7.2.3跨类型特征的通用184
7.2.4语言相似的影响184
7.2.5语码混用和音译的影响185
7.3跨语言模型187
7.3.1预训练策略188
7.3.2预训练xlm模型190
7.3.3对xlm模型的评估191
7.4理解xlm-r模型192
7.5特定语言的bert模型194
7.5.1语的flaubert模型194
7.5.2西班牙语的beto模型196
7.5.3荷兰语的bertje模型198
7.5.4德语的bert模型199
7.5.5汉语的bert模型200
7.5.6语的bert模型202
7.5.7芬兰语的finbert模型202
7.5.8意大利语的umberto模型203
7.5.9葡萄牙语的bertimbau模型204
7.5.10俄语的rubert模型204
7.6小结206
7.7题206
7.8深入阅读207
第8章sentence-bert模型和特定领域的bert模型208
8.1用sentence-bert模型生成句子特征208
8.1.1计算句子特征209
8.1.2了解sentence-bert模型211
8.2sentence-transformers库217
8.2.1使用sentence-bert计算句子特征217
8.2.2计算句子的相似度218
8.2.3加载自定义模型219
8.2.4用sentence-bert模型寻找类似句子220
8.3通过知识蒸馏迁移多语言嵌入221
8.3.1教师学生架构223
8.3.2使用多语言模型224
8.4特定领域的bert模型:clinicalbert模型和biobert模型225
8.4.1clinicalbert模型225
8.4.2biobert模型229
8.5小结232
8.6题233
8.7深入阅读233
第9章videobert模型和bart模型234
9.1videobert模型学语言及视频特征235
9.1.1预训练videobert模型235
9.1.2数据源和预处理239
9.1.3videobert模型的应用240
9.2了解bart模型241
9.2.1bart模型的架构241
9.2.2比较不同的预训练目标245
9.2.3使用bart模型执行文本摘要任务245
9.3探讨bert库246
9.3.1ktrain库247
9.3.2bert-as-service库255
9.4小结258
9.5题259
9.6深入阅读259
题参260
内容简介:
本书聚焦谷歌公司开发的bert自然语言处理模型,由浅入深地介绍了bert的工作、bert的各种变体及其应用。本书呈现了大量示意图、代码和实例,详细解析了如何训练bert模型、如何使用bert模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游任务,以及如何将bert模型应用于多种语言。通读本书后,读者不仅能够全面了解有关bert的各种概念、术语和,还能够使用bert模型及其变体执行各种自然语言处理任务。本书面向希望利用bert的理解能力来简化自然语言处理任务的专业人士,以及对自然语言处理和深度学感兴趣的所有人士。
作者简介:
【作者简介】苏达哈尔桑拉维昌迪兰(sudharsanravichandiran)热爱开源社区的数据科学家,研究方向为深度学和强化学的实际应用,在自然语言处理和计算机视觉等领域都颇有建树,另著有python强化学实战。【译者简介】周参职于谷歌,任软件工程师,研究方向为自然语言处理。工作之余的兴趣是研究人工智能领域机器学方向以及新的模型算,并将多种深度学模型应用于实际问题中。
孔网啦啦啦啦啦纺织女工火锅店第三课
开播时间:09月02日 10:30
即将开播,去预约
直播中,去观看