用户体验度量：收集、分析与呈现（纪念版）

如何量化用户体验对有效提高产品的使用质量至关重要。本书详尽地介绍了如何有效且可靠地收集、分析和呈现典型的用户体验度量数据：操作绩效（正确率等）、用户体验问题（频率和严重程度）、自我报告式的满意度及生理/行为数据（眼动追踪等）。同时对“综合性量化度量数据”等问题进行了专门介绍，而且结合案例等形式对当前与用户体验相关的新内容（如用户体验对NPS的影响）进行了说明。本书内容翔实，是一本值得用户体验从业人员研读的指导性书籍，同时也可以作为相关课程的参考教材。

Thomas S. (Tom) Tullis 是 富 达 投 资 公 司（Fidelity Investments）用户体验研究部门（User Experience Research）的高级副总裁，同时也是本特利大学信息设计学院人因工程方向的兼职教授。他 1993 年加入富达用户体验，对该公司用户体验部门的发展起了重要作用，该部门的设备包括一个技术发展水平（state-of-the-art）可用性研究实验室。在加入富达投资公司之前，Tom 曾在佳能信息系统（Canon Information Systems）、麦道（ McDonnell Douglas）、优利系统公司（Unisys Corporation）和贝尔实验室（Bell Laboratories）任职。他和富达的可用性研究团队曾被多家出版物专题介绍过，包括《新闻周刊》（Newsweek）、Business 2.0、Money、《波士顿环球报》（The Boston Globe）、《华尔街日报》（The Wall Street Journal）和《纽约时报》（The New York Times）。Tuillis 在莱斯大学获得学士学位、在新墨西哥州立大学获得实验心理学硕士学位以及在莱斯大学获得工程心理学博士学位。他有 35 年以上的人机界面研究方面的经验，在诸多技术期刊上发表了 50 多篇文章，他曾在国内和国际会议上做特邀报告。同时，Tom 拥有8 项美国专利。合作完成（与 Bill Albert 和 Donna Tedesco 合著）的 Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies 在2010 年由 Elsevier/Morgan Kauffman 出版。Tullis 是 2011 年用户体验行业协会（User Experience Professional Association，UXPA）终身成就奖的获得者，2013 年被 SIGCHI（ACM 人机交互特别兴趣组）遴选为人机交互学会会士（CHI Academy）。可通过 @TomTullis 关注 Tom。William (Bill) Albert 目前是本特利大学设计和可用性研究中心的执行总监（Executive Director），也是本特利大学信息设计学院人因工程方向的兼职教授。在加入本特利大学之前，他是富达投资公司用户体验部的总监，Lycos 公司的高级用户界面研究员，也曾是 Nissan Cambridge Basic Research的博士后研究人员。Albert 曾在 30 多个国内和国际会议上发表和报告过他的研究。2010 年，合作完成（与 Tom Tullis 和 Donna Tedesco 合著）的 Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies， 并 由 Elsevier/Morgan Kauffman 出版。他是 Journal of Usability Studies 的共同主编（co-Editor in Chief）。因为他在人因学和空间认知（spatial cognition）领域内的研究，Albert 获得了加州大学圣塔芭芭拉分校和日本政府所授予的奖项。他从华盛顿大学获得学士和硕士学位（地理信息系统），在波士顿大学（地理D空间认知）获得博士学位。他在 Nissan Cambridge Basic Research 完成了博士后研究。可通过 @UXMetrics 关注 Bill。

第 1 章 引言 / 1

1．1 什么是用户体验 / 4

1．2 什么是用户体验度量 / 6

1．3 用户体验度量的价值 / 8

1．4 适用于每个人的度量方法 / 9

1．5 用户体验度量的新技术 / 10

1．6 十个关于用户体验度量的常见误解 / 11

误解 1 ：度量需要花太多的时间而难以收集 / 11

误解 2 ：用户体验度量要花费太多的钱 / 12

误解 3 ：当集中在细小的改进上时，用户体验度量是没有用的 / 12

误解 4 ：用户体验度量对我们理解原因没有帮助 / 12

误解 5 ：用户体验数据的噪声太多 / 13

误解 6 ：只能相信自己的直觉 / 13

误解 7 ：度量不适用于新产品 / 13

误解 8 ：没有度量适用于我们正在处理的问题 / 14

误解 9 ：度量不被管理层所理解或赞赏 / 14

误解 10 ：用小样本很难收集到可靠的数据 / 14

第 2 章 背景知识 / 16

2．1 自变量和因变量 / 16

2．2 数据类型 / 17

2．2．1 称名数据 / 17

2．2．2 顺序数据 / 18

2．2．3 等距数据 / 18

2．2．4 比率数据 / 19

2．3 描述性统计 / 20

2．3．1 集中趋势的测量 / 20

2．3．2 变异性的测量 / 22

2．3．3 置信区间 / 23

2．3．4 通过误差线来呈现置信区间 / 25

2．4 比较平均数 / 27

2．4．1 独立样本 / 27

2．4．2 配对样本 / 29

2．4．3 比较两个以上的样本 / 30

2．5 变量之间的关系 / 32

2．6 非参数检验 / 33

2．7 用图形化的方式呈现数据 / 35

2．7．1 柱形图或条形图 / 36

2．7．2 折线图 / 38

2．7．3 散点图 / 40

2．7．4 饼图或圆环图 / 41

2．7．5 堆积条形图 / 43

2．8 总结 / 44

第 3 章 规划 / 45

3．1 研究目标 / 45

3．1．1 形成式可用性 / 46

3．1．2 总结式可用性 / 46

3．2 用户目标 / 47

3．2．1 绩效 / 47

3．2．2 满意度 / 48

3．3 选择正确的度量：10种可用性研究 / 48

3．3．1 完成一个业务 / 50

3．3．2 比较产品 / 50

3．3．3 评估同一种产品的使用效率 / 51

3．3．4 评估导航和 / 或信息架构 / 51

3．3．5 提高知晓度 / 52

3．3．6 问题发现 / 53

3．3．7 使应急产品的可用性最大化 / 53

3．3．8 创造整体的正向用户体验 / 54

3．3．9 评估微小改动的影响 / 55

3．3．10 比较替代性的设计方案 / 55

3．4 评估方法 / 56

3．4．1 传统（引导式）的可用性测试 / 56

3．4．2 在线（非引导式）可用性测试 / 57

3．4．3 在线调查 / 60

3．5 其他研究细节 / 61

3．5．1 预算和时间表 / 61

3．5．2 参与者 / 62

3．5．3 数据收集 / 64

3．5．4 数据整理 / 64

3．6 总结 / 65

第 4 章 绩效度量 / 67

4．1 任务成功 / 69

4．1．1 二分式成功 / 70

4．1．2 成功等级 / 75

4．1．3 任务成功测量中存在的问题 / 78

4．2 任务时间 / 79

4．2．1 测量任务时间的重要性 / 80

4．2．2 如何收集和测量任务时间 / 80

4．2．3 分析和呈现任务时间数据 / 83

4．2．4 使用时间数据时需要考虑的问题 / 87

4．3 错误 / 89

4．3．1 何时测量错误 / 89

4．3．2 什么构成了错误 / 90

4．3．3 收集和测量错误 / 90

4．3．4 分析和呈现错误 / 91

4．3．5 使用错误度量时需要考虑的问题 / 93

4．4 效率 / 93

4．4．1 收集和测量效率 / 94

4．4．2 分析和呈现效率数据 / 95

4．4．3 结合任务成功和任务时间的效率 / 98

4．5 易学性 / 100

4．5．1 收集和测量易学性数据 / 101

4．5．2 分析和报告易学性数据 / 102

4．5．3 测量易学性时需要考虑的问题 / 104

4．6 总结 / 104

第 5 章 基于问题的度量 / 106

5．1 什么是可用性问题 / 107

5．2 如何发现可用性问题 / 108

5．2．1 面对面研究 / 110

5．2．2 自动化研究 / / 110

5．3 严重性评估 / 110

5．3．1 基于用户体验的严重性评估 / 111

5．3．2 综合多种因素的严重性评估 / 112

5．3．3 严重性等级评估系统的应用 / 113

5．3．4 严重性等级评估系统的忠告 / 114

5．4 分析和报告“可用性问题相关的度量” / 115

5．4．1 独特问题的频次 / 115

5．4．2 每个参与者遇到的问题数量 / 117

5．4．3 参与者人次 / 118

5．4．4 问题归类 / 119

5．4．5 按任务区分问题 / 119

5．5 可用性问题发现中的一致性 / 120

5．6 可用性问题发现中的偏差 / 123

5．7 参与者数量 / 125

5．7．1 五个参与者足够 / 125

5．7．2 五个参与者不够 / 127

5．7．3 我们的建议 / 129

5．8 总结 / 129

第 6 章 自我报告度量 / 131

6．1 自我报告数据的重要性 / 132

6．2 评分量表 / 132

6．2．1 Likert 量表 / 133

6．2．2 语义差异量表 / 134

6．2．3 什么时候收集自我报告数据 / 134

6．2．4 如何收集自我报告数据 / 135

6．2．5 自我报告数据收集中的偏差 / 135

6．2．6 评分量表的一般指导原则 / 136

6．2．7 分析评分量表数据 / 137

6．3 任务后评分 / 141

6．3．1 易用性 / 141

6．3．2 情景后问卷（ASQ） / 141

6．3．3 期望测量 / 142

6．3．4 任务后自我报告度量的比较 / 143

6．4 测试后评分 / 147

6．4．1 合并单个任务的评分 / 147

6．4．2 系统可用性量表 / 148

6．4．3 计算机系统可用性问卷 / 150

6．4．4 用户界面满意度问卷 / 152

6．4．5 有效性、满意度和易用性的问卷 / 153

6．4．6 产品反应卡 / 154

6．4．7 测试后自我报告度量的比较 / 155

6．4．8 净推荐值 / 157

6．5 用SUS比较设计 / 158

6．6 在线服务 / 159

6．6．1 网站分析和测量问卷 / 159

6．6．2 美国客户满意度指数 / 161

6．6．3 OpinionLab / 164

6．6．4 在线网站调查的问题 / 166

6．7 其他类型的自我报告度量 / 166

6．7．1 评估特定的属性 / 166

6．7．2 具体元素的评估 / 169

6．7．3 开放式问题 / 171

6．7．4 知晓度和理解 / 172

6．7．5 知晓度和有用性差距 / 173

6．8 总结 / 174

第 7 章 行为和生理度量 / 176

7．1 自发言语表情的观察与编码 / 176

7．2 眼动追踪 / 178

7．2．1 如何进行眼动追踪 / 178

7．2．2 眼动数据的可视化 / 180

7．2．3 兴趣区 / 183

7．2．4 常用眼动度量指标 / 186

7．2．5 眼动分析技巧 / 188

7．2．6 瞳孔反应 / 189

7．3 情感度量 / 190

7．3．1 Affffectiva 公司和 Q 传感器 / 191

7．3．2 蓝色泡沫实验室和 Emovision / 193

7．3．3 Seren 公司和 Emotlv / 195

7．4 紧张和其他生理指标 / 197

7．4．1 心率变异性 / 197

7．4．2 心率变异性和皮肤电研究 / 198

7．4．3 其他测量手段 / 199

7． 5 总结 / 201

第 8 章 合并和比较度量 / 203

8．1 单一可用性分数 / 203

8．1．1 根据预定目标合并度量 / 204

8．1．2 根据百分比合并度量 / 205

8．1．3 根据 z 分数合并数据 / 211

8．1．4 使用单一可用性度量（SUM） / 213

8．2 可用性记分卡 / 215

8．3 与目标和专家绩效比较 / 219

8．3．1 与目标比较 / 219

8．3．2 与专家绩效比较 / 222

8．4 总结 / 223

第 9 章 专题 / 225

9．1 实时动态网站数据 / 225

9．1．1 基本的网站分析 / 226

9．1．2 点击率 / 229

9．1．3 弃用率 / 230

9．1．4 A/B 研究 / 231

9．2 卡片分类数据 / 234

9．2．1 开放式卡片分类数据的分析 / 235

9．2．2 封闭式卡片分类数据的分析 / 241

9．2．3 树测试 / 244

9．3 可及性数据 / 246

9．4 投资回报率数据 / 249

9．5 总结 / 254

第 10 章 案例研究 / 255

10．1 净推荐与良好用户体验的价值 / 255

10．1．1 方法 / 256

10．1．2 结果 / 257

10．1．3 在界面设计中对投入进行优先级设置 / 258

10．1．4 讨论 / 260

10．1．5 总结 / 261

参考文献 / 262

作者简介 / 262

10．2 度量指纹采集的反馈效果 / 263

10．2．1 方法 / 263

10．2．2 讨论 / 271

10．2．3 总结 / 273

致谢 / 273

参考文献 / 273

作者简介 / 274

10．3 Web体验管理系统的再设计 / 274

10．3．1 测试迭代 / 275

10．3．2 数据收集 / 276

10．3．3 工作流程 / 277

10．3．4 结果 / 281

10．3．5 结论 / 283

参考文献 / 283

作者简介 / 283

10．4 使用度量来改善大学招生简章网站 / 284

10．4．1 样例 1 ：可用性测试后决定行动 / 285

10．4．2 样例 2 ：网站追踪数据 / 288

10．4．3 样例 3 ：人物角色迭代的定位测量 / 290

10．4．4 总结 / 291

致谢 / 292

参考文献 / 292

作者简介 / 292

10．5 利用生物测量技术测量可用性 / 293

10．5．1 背景 / 293

10．5．2 方法 / 294

10．5．3 生物测量学的发现 / 295

10．5．4 定性结果 / 297

10．5．5 总结及给从业人员的建议 / 298

致谢 / 299

参考文献 / / 299

作者简介 / 300

第 11 章 通向成功的 10 个关键点 / 301

11．1 让数据活起来 / 301

11．2 主动去度量 / 303

11．3 度量比想的便宜 / 304

11．4 早计划 / 305

11．5 给产品确定基线 / 306

11．6 挖掘数据 / 307

11．7 讲商业语言 / 308

11．8 呈现置信程度 / 308

11．9 不要误用度量 / 309

11．10 简化报告 / 310

参考文献 / 312