NVIDIA Jetson AI硬件开发实战:进阶篇 梁栋 英伟达 嵌入式 硬件开发 机器人
举报
正版全新
-
出版时间:
2022-12
-
装帧:
平装
-
开本:
16开
-
ISBN:
9787111820697
-
出版时间:
2022-12
售价
¥
52.69
6.7折
定价
¥79.00
品相
全新
上书时间2026-11-09
卖家超过10天未登录
-
-
商品描述:
-
【书 名】 NVIDIA Jetson AI硬件开发实战:进阶篇 梁栋 英伟达 嵌入式 硬件开发 机器人
【书 号】 9787111820697
【出 版 社】 机械工业出版社
【作 者】 梁栋
【出版日期】 2026-11-01
【开 本】 16开
【定 价】 79.00元
【编辑推荐】
智能时代,AI正从云端走向边缘、从软件走向硬件。从智能摄像头、无人机、无人车,到服务机器人,越来越多的智能设备需要在本地的“小体积、低功耗”平台上,实时完成视觉感知与硬件控制。NVIDIA Jetson正是为这一趋势而生的嵌入式AI平台——它小巧、省电,却拥有不容小觑的GPU算力,能高效承载图像识别、目标检测等视觉任务与丰富的硬件外设控制。本书将帮你将把I视觉、AI语音、本地大模型与硬件控制融会贯通。本书完整呈现了边缘AI硬件开发进阶的核心技术以及作者总结的经验和踩过坑,还包含“AI 视觉云台”和“AI 语音机器人”两大综合案例(附赠完整源代码)。通过本书,你可掌握边缘AI性能调优、多路视频分析、自定义模型训练与加速、本地大模型运行及AI软硬件协同开发等技能。
【内容简介】
这是一本以Jetson Orin系列设备为核心参考,帮你将AI视觉、AI语音、本地大模型与硬件控制融会贯通的专业技术书。全书以指导一线实战为目标,完整呈现了边缘AI硬件开发进阶的核心技术以及作者总结的经验和踩过的“坑”。为了帮助你真正快速落地实践,书中包含“AI视觉云台”和“AI语音机器人”两大综合案例(附赠全套源代码)。通过本书,你可掌握边缘AI性能调优、多路视频分析、自定义模型训练与加速、本地大模型运行及AI软硬件协同开发等技能。无论是AI硬件开发工程师进行智能安防、服务机器人、具身智能等项目的研发,还是相关专业的本科生或研究生进行毕业设计,都能通过本书获得支持。
第1章深入NVIDIA Jetson,系统讲解Jetson产品矩阵、异构计算架构与统一内存、性能优化思路、TensorRT模型加速与精度选择,以及电源模式选择策略,为后续Jetson性能调优指明方向。
第2~5章对DeepStream视频流分析(单路/多路视频流、私密遮盖、姿态估计)、YOLO目标检测(图像分类推理、目标检测推理、图像分割推理、姿态识别推理、实时追踪、Web GUI、模型训练、YOLO加速、集成至DeepStream以及构建自定义组件、RTSP服务)、MediaPipe姿态估计(手势动作识别、面部表情识别、三维物体识别)、Jetson本地大模型部署(Ollama运行平台、Open WebUI可视化交互、访问Ollama)等核心内容进行深度解读。
第6~7章首先介绍如何基于YOLO与PID算法搭建“AI视觉云台”(二维云台机械结构、多路舵机控制、经典硬件控制算法、实时目标检测与云台联动),然后介绍如何结合本地大模型搭建“AI语音机器人”(Whisper语音识别、Edge TTS语音合成、语音聊天与意图识别)。
本书默认你已经掌握了Jetson基础环境搭建与AI视觉等入门知识,若是你对这些内容不了解,或希望了解AI视觉机器人开发相关综合案例,可以阅读本书的姊妹篇《NVIDIA Jetson AI硬件开发实战:入门篇》。
【目录】
目 录
前 言
第1章 深入理解NVIDIA Jetson 1
1.1 Jetson产品矩阵 1
1.2 Jetson异构计算架构 3
1.2.1 Jetson异构计算架构组成 3
1.2.2 统一内存架构 5
1.2.3 外设接口性能 5
1.3 Jetson性能优化 6
1.3.1 Jetson性能优化思路 6
1.3.2 常见瓶颈与优化策略 8
1.4 模型加速TensorRT 8
1.4.1 Jetson与TensorRT 9
1.4.2 精度选择策略 9
1.5 Jetson电源模式选择 10
1.5.1 Jetson电源模式 10
1.5.2 Jetson电源选择策略 12
1.6 本章小结 12
第2章 视频流分析DeepStream 14
2.1 初识DeepStream 14
2.1.1 DeepStream概述 14
2.1.2 DeepStream环境搭建 16
2.1.3 DeepStream Python Apps
配置 20
2.2 配置DeepStream 23
2.2.1 DeepStream单路视频流
配置 24
2.2.2 DeepStream多路视频流
配置 25
2.3 使用DeepStream 29
2.3.1 DeepStream私密遮盖 29
2.3.2 DeepStream姿态估计 32
2.4 本章小结 37
第3章 目标检测YOLO 38
3.1 初识YOLO 38
3.1.1 YOLO概述 39
3.1.2 YOLOv8环境搭建 40
3.1.3 YOLOv8开箱试用 41
3.2 YOLO大展拳脚 44
3.2.1 YOLO图像分类推理 45
3.2.2 YOLO目标检测推理 46
3.2.3 YOLO图像分割推理 47
3.2.4 YOLO姿态估计推理 48
3.2.5 YOLO实时目标追踪 49
3.2.6 YOLO Web GUI 50
3.3 YOLO模型训练 53
3.3.1 YOLO模型训练基本流程 53
3.3.2 训练自己的YOLO模型 56
3.4 Jetson设备YOLO加速 59
3.4.1 常见神经网络模型格式 59
3.4.2 TensorRT模型转换 61
3.4.3 PyTorch与TensorRT模型
耗时对比 65
3.5 集成YOLO至DeepStream 68
3.5.1 DeepStream集成环境搭建 68
3.5.2 DeepStream管道搭建 69
3.6 开发自定义YOLO目标检测
组件 72
3.6.1 示例1:构建YOLO目标
检测组件 72
3.6.2 示例2:构建RTSP服务 75
3.7 本章小结 79
第4章 姿态估计MediaPipe 81
4.1 初识MediaPipe 81
4.1.1 MediaPipe概述 81
4.1.2 MediaPipe环境搭建及示例 82
4.2 应用MediaPipe 85
4.2.1 MediaPipe手势动作识别 85
4.2.2 MediaPipe面部表情识别 93
4.2.3 MediaPipe三维物体检测 100
4.3 本章小结 105
第5章 Jetson本地大模型 106
5.1 大模型 106
5.1.1 大模型概述 107
5.1.2 本地大模型的特点 108
5.1.3 适用于Jetson平台的本地
大模型 108
5.2 大模型运行平台Ollama 112
5.2.1 初识Ollama 112
5.2.2 Ollama环境配置 113
5.2.3 Ollama常用命令 115
5.3 可视化交互平台Open WebUI 123
5.3.1 初识Open WebUI 123
5.3.2 Open WebUI环境配置 124
5.4 使用编程方式访问Ollama
服务 128
5.4.1 使用HTTP API方式访问
Ollama服务 128
5.4.2 使用Python方式访问
Ollama服务 129
5.5 本章小结 132
第6章 Jetson AI视觉云台 133
6.1 二维云台控制单元 133
6.1.1 二维云台机械结构 134
6.1.2 多路舵机控制电路
PCA9685 135
6.2 硬件控制经典算法PID 141
6.2.1 PID控制算法的核心原理 141
6.2.2 PID算法的实现方式 142
6.3 二维云台AI视觉系统 147
6.3.1 YOLO实时目标检测 147
6.3.2 YOLO二维云台系统 149
6.4 本章小结 155
第7章 Jetson AI语音机器人 156
7.1 语音处理相关技术 156
7.1.1 语音处理技术的基本概念 157
7.1.2 语音识别技术OpenAI
Whisper 158
7.1.3 语音合成技术Microsoft
Edge TTS 162
7.2 集成AI语音机器人 166
7.2.1 音频处理模块 166
7.2.2 语音处理模块 170
7.2.3 语音聊天功能实现 173
7.2.4 意图识别功能实现 176
7.3 本章小结 181
【前言】
前 言
为什么要写本书
当你通过《NVIDIA Jetson AI硬件开发实战:入门篇》掌握了系统环境配置、开发环境搭建、基础硬件认知与GPIO控制,并用Jetson-inference实现了AI视觉两轮机器人控制后,想必已对Jetson嵌入式平台的开发逻辑有了初步掌握。但在智能开发的进阶之路上,仅掌握基础技能远远不够—随着AI技术在视觉分析、交互体验等领域的深度应用,开发者迫切需要突破单一应用场景,掌握更专业的算法工具与复杂项目开发能力,以应对工业级智能设备开发的实际需求。
我们在从基础开发迈向进阶应用的过程中,难免会陷入新的困境:面对YOLO目标检测、MediaPipe姿态识别、DeepStream流媒体智能分析等主流技术,不知如何将它们与Jetson平台深度适配;想要开发AI视觉与硬件协同这类需要精准控制与视觉协同的设备,却缺乏从算法选型到硬件联动的完整思路;尝试搭建本地大模型、开发AI语音聊天机器人时,又会在模型部署优化、语音交互逻辑设计等环节受阻。市面上虽有部分零散的技术文档,但大多聚焦单一技术点,缺乏将多技术融合应用于实际项目中的系统性指导,难以帮助开发者构建完整的进阶知识体系。
正是为了填补这一空白,笔者精心编写了本书。本书以《NVIDIA Jetson AI硬件开发实战:入门篇》知识为基石,围绕“技术深化 + 场景拓展”两大核心,将进阶开发所需的关键技术与实战项目深度结合:在算法工具层面,详细讲解YOLO算法在Jetson平台的部署与优化,帮助你实现高精度实时目标检测;系统介绍MediaPipe的使用方法,帮助你快速开发姿态识别、手势控制等交互功能;深入剖析DeepStream的流媒体处理流程,让你掌握多摄像头接入、智能分析与数据可视化的核心能力。
在实战项目部分,本书从实际应用场景出发,手把手指导你完成AI视觉二维云台的开
发—从硬件选型与组装,到视觉算法与云台控制逻辑的联动调试,全程拆解关键技术难点;针对当前热门的大模型应用,清晰梳理本地大模型在Jetson平台的搭建流程,包括模型选型、轻量化优化与推理性能调优,让你摆脱对云端的依赖,实现边缘端智能决策;同时,还会带你开发AI语音聊天机器人,涵盖语音识别、语义理解、语音合成的全流程开发,打通“视
觉 +语音”的多模态交互链路。
笔者希望通过这本书,不仅能为你传递进阶开发的核心技术,更能培养你将多技术融合应用的思维能力。无论你是想提升专业技能的工程师,还是追求技术突破的开发者,都能从本书中获得清晰的学习路径与实战指导,在Jetson平台的进阶开发之路上少走弯路,真正将技术能力转化为实际项目成果,在智能设备开发的浪潮中抢占先机,打造出更具竞争力的创新应用。
读者对象
本书主要面向Jetson嵌入式硬件应用用户群体:
Jetson用户和爱好者。
AI视觉应用开发者。
嵌入式硬件应用开发者。
嵌入式软硬件相关专业的在校大学生。
本书特色
本书依旧以NVIDIA Jetson系列AIoT(人工智能物联网)设备作为核心学习平台,重点以Jetson Orin系列设备为参考,旨在为读者提供高度贴合实际场景的硬件初始化环境与软件使用参考,助力读者快速掌握相关技术,实现从理论知识到实际应用的高效转化。
本书内容丰富且实用,涵盖了多个关键领域,包括AI视觉、硬件控制、AI语音和本地大模型等。
在AI视觉相关应用方面,本书介绍了大量Jetson嵌入式开发必备的知识,例如YOLO、DeepStream、MediaPipe等。这些技术和工具在图像识别、目标检测、视频分析等领域应用广泛,能够帮助开发者快速搭建起高效的AI视觉系统。
针对当前火热的大模型需求,本书详细介绍了Jetson本地大模型部署的方法。随着大模型在各个领域的应用日益广泛,在边缘设备上部署大模型的技术成为必要的知识储备。通过本书,读者可以学习到如何在Jetson设备上高效地部署和运行大模型,实现快速的推理和响应,降低对云端的依赖。
此外,本书还给出了Jetson结合AI软硬件技术的综合应用案例,如AI视觉二维云台和AI语音机器人,通过实际案例的讲解,帮助读者深入理解Jetson设备在不同场景下的应用方式,以及如何将AI视觉、AI语音、本地大模型等软硬件技术有机结合,解决实际问题,提升读者的综合应用能力和创新思维。
通过阅读本书,读者将深入了解并学会充分利用Jetson系列产品在硬件和软件方面的优势,全面掌握AI视觉、AI语音、本地大模型部署等关键技术,在AIoT开发学习之路上稳步前行,为未来的职业发展和技术创新奠定坚实基础。
本书主要内容
本书共7章,主要内容如下:
第1章主要介绍Jetson产品,以及Jetson设备优化基础,为后续Jetson性能调优指明方向。
第2章~第5章主要介绍Jetson设备在AI视觉领域的相关应用,包括DeepStream、YOLO和MediaPipe等AI视觉应用,以及Jetson在本地大模型方面的应用。
第6章和第7章主要介绍Jetson AI与硬件控制协同应用,包括基于YOLO算法实现AI视觉二维云台机器人,以及结合本地大模型搭建AI语音聊天机器人。
勘误和支持
由于作者水平有限,书中难免存在一些错误或者不准确的地方,恳请读者批评指正。为给大家带来更优质、持续的阅读与学习体验,特设立微信公众号“架构师狼哥”,为读者朋友答疑解惑。
关注公众号“架构师狼哥”,回复“Jetson”,可获得本书全套代码。如果你在阅读本书或学习的过程中遇到问题,也可以在该微信公众号上留言,笔者将尽力提供解答。期待你的真挚反馈。
致谢
在写完本书*后一部分内容,整理好所有案例代码和文档时,回头看这几个月的创作过程,心里满是感激。从一开始梳理 Jetson 进阶技术的框架,到解决硬件控制和 AI 算法配合的难题,再到反复修改案例细节,能顺利完成本书,离不开身边人的支持和帮助,在此一并致以诚挚的感谢。
首先要感谢笔者的同事和朋友。在本书创作过程中笔者遇到不少技术问题,时常在不同的JetPack版本Bug中踩坑,研究本地大模型搭建时缺少配套的语言相关模块,多亏得到不少研究硬件的朋友提供的技术支持。虽然周围的朋友或同事未必都对Jetson有深入的了解,但都在用自己的方式帮助笔者,让笔者解决问题时不觉得艰难,这份情笔者始终记在心里。
还要特别感谢家人。写书这段时间,笔者经常待在书房里写代码、画电路图、调试软硬件。感谢家人的无声陪伴与鼓励,让笔者可以专心完成书稿。
*后,要感谢笔者的“读者”们—素未谋面,却亦师亦友。是你们驱使笔者更深入地研究Jetson技术,解决一个个Jetson环境配置与应用实现问题;也是你们的孜孜以求,让笔者更有动力将Jetson开发过程中遇到的问题都整理成册。同时,也希望本书能够帮助更多的Jetson开发者。
梁 栋
孔网啦啦啦啦啦纺织女工火锅店第三课
开播时间:09月02日 10:30
即将开播,去预约

直播中,去观看