HTTP权威指南

HTTP（HyperTextTransferProtocol，超文本传输协议）是Web客户端与服务器交互文档和信息时所使用的协议，是每个成功Web事务的幕后推手。众所周知，我们每天访问公司内部网络、搜索绝版书籍、研究统计信息时所使用的浏览器的核心就是HTTP。但HTTP的应用远不仅仅是浏览Web内容。由于HTTP既简单又普及，很多其他网络应用程序也选择了它，尤其是采用SOAP和XML-RPC这样的Web服务。

详细解释了HTTP协议，包括它是如何工作的，如何用它来开发基于Web的应用程序。但本书并不只介绍了HTTP，还探讨了HTTP有效工作所依赖的所有其他核心因特网技术。尽管HTTP是本书的中心内容，但本书的本质是理解Web的工作原理，以及如何将这些知识应用到Web编程和管理之中去，主要涵盖HTTP的技术运作方式、产生动机、性能和目标，以及一些相关技术问题。

本书是HTTP协议及相关Web技术方面的著作，主要内容包括：

HTTP方法、首部以及状态码

优化代理和缓存的方法

设计Web机器人和爬虫的策略

Cookies、认证以及安全HTTP

国际化及内容协商

重定向及负载平衡策略

本书由具有多年实践经验的专家编写，通过简洁语言和大量翔实的细节图解帮助读者形象地理解Web幕后所发生的事情，详细说明了Web上每条请求的实际运行情况。要想高效地进行Web开发，所有Web程序员、管理员和应用程序开发者都应该熟悉HTTP。很多书籍只介绍了Web的使用方式，而本书则深入说明了Web的工作原理。

　　DavidGourley，Endeca的首席技术官（ChiefTechnologyOfficer），负责Endeca产品的研究及开发。Endeca开发的因特网及内部网络信息访问解决方案为企业级数据的导航及研究提供了一些新的方式。在到Endeca工作之前，David是Inktomi基础工程组的一员，他在那儿帮助开发了Inktomi的因特网搜索数据库，是Inktomi的Web缓存产品的主要开发者。David在加州大学伯克利分校获得了计算机科学的学士学位，还拥有Web技术方面的几项专利。

　　BrianTotty，出任了Inktomi公司（这是1996年他参与建立的一家公司）研发部副总裁，在公司中他负责Web缓存、流媒体及因特网搜索技术的研发工作。他曾是SiliconGraphics公司的一名科学家，他在那儿为高性能网络和超级计算机系统设计软件并对其进行优化。在那之前，他是苹果计算机公司高级技术组的一名工程师。Brian在伊利诺伊大学Urbana-Champaign分校获得了计算机科学的博士学位，在MIT获得了计算机科学及电子工程的学士学位，在那里他获得了计算机系统研究的Organick奖。他还为加州大学扩展系统开发并讲授了一些屡获殊荣的因特网技术方面的课程。

　　MarjorieSayer在Inktomi公司负责编写Web缓存方面的软件。在加州大学伯克利分校获得了数学硕士和博士学位之后，一直致力于数学课程的改革。从1990年开始致力于能量资源管理、并行系统软件、电话和网络方面的写作。

　　SailuReddy目前在Inktomi公司负责嵌入式的性能增强型HTTP代理的开发。Sailu从事复杂软件系统的开发已经有12年了，从1995年开始深入Web架构的研发工作。他是NetscapeWeb服务器、Web代理产品，以及后面几代产品的核心工程师。他具备HTTP应用程序、数据压缩技术、数据库引擎以及合作管理等方面的技术经验。Sailu在亚里桑那大学获得了信息系统的硕士学位并握有Web技术方面的多项专利。

　　AnshuAggarwal是Inktomi公司的工程总监。他领导着Inktomi公司Web缓存产品的协议处理工程组，从1997年就开始参与Inktomi的Web技术设计工作。Anshu在科罗拉多大学Boulder分校获得了计算机科学的硕士和博士学位，从事分布式多处理器的内存一致性技术研究。他还拥有电子工程的硕士和学士学位。Anshu撰写了多篇技术论文，还拥有两项专利。

第一部分HTTP：Web的基础

第1章HTTP概述

1.1HTTP——因特网的多媒体信使

1.2Web客户端和服务器

1.3资源

1.3.1媒体类型

1.3.2URI

1.3.3URL

1.3.4URN

1.4事务

1.4.1方法

1.4.2状态码

1.4.3Web页面中可以包含多个对象

1.5报文

1.6连接

1.6.1TCP/IP

1.6.2连接、IP地址及端口号

1.6.3使用Telnet实例

1.7协议版本

1.8Web的结构组件

1.8.1代理

1.8.2缓存

1.8.3网关

1.8.4隧道

1.8.5Agent代理

1.9起始部分的结束语

1.10更多信息

1.10.1HTTP协议信息

1.10.2历史透视

1.10.3其他万维网信息

第2章URL与资源

2.1浏览因特网资源

2.2URL的语法

2.2.1方案——使用什么协议

2.2.2主机与端口

2.2.3用户名和密码

2.2.4路径

2.2.5参数

2.2.6查询字符串

2.2.7片段

2.3URL快捷方式

2.3.1相对URL

2.3.2自动扩展URL

2.4各种令人头疼的字符

2.4.1URL字符集

2.4.2编码机制

2.4.3字符限制

2.4.4另外一点说明

2.5方案的世界

2.6未来展望

2.7更多信息

第3章HTTP报文

3.1报文流

3.1.1报文流入源端服务器

3.1.2报文向下游流动

3.2报文的组成部分

3.2.1报文的语法

3.2.2起始行

3.2.3首部

3.2.4实体的主体部分

3.2.5版本0.9的报文

3.3方法

3.3.1安全方法

3.3.2GET

3.3.3HEAD

3.3.4PUT

3.3.5POST

3.3.6TRACE

3.3.7OPTIONS

3.3.8DELETE

3.3.9扩展方法

3.4状态码

3.4.1100～199——信息性状态码

3.4.2200～299——成功状态码

3.4.3300～399——重定向状态码

3.4.4400～499——客户端错误状态码

3.4.5500～599——服务器错误状态码

3.5首部

3.5.1通用首部

3.5.2请求首部

3.5.3响应首部

3.5.4实体首部

3.6更多信息

第4章连接管理

4.1TCP连接

4.1.1TCP的可靠数据管道

4.1.2TCP流是分段的、由IP分组传送

4.1.3保持TCP连接的正确运行

4.1.4用TCP套接字编程

4.2对TCP性能的考虑

4.2.1HTTP事务的时延

4.2.2性能聚焦区域

4.2.3TCP连接的握手时延

4.2.4延迟确认

4.2.5TCP慢启动

4.2.6Nagle算法与TCP_NODELAY

4.2.7TIME_WAIT累积与端口耗尽

4.3HTTP连接的处理

4.3.1常被误解的Connection首部

4.3.2串行事务处理时延

4.4并行连接

4.4.1并行连接可能会提高页面的加载速度

4.4.2并行连接不一定更快

4.4.3并行连接可能让人“感觉”更快一些

4.5持久连接

4.5.1持久以及并行连接

4.5.2HTTP/1.0+keep-alive连接

4.5.3Keep-Alive操作

4.5.4Keep-Alive选项

4.5.5Keep-Alive连接的限制和规则

4.5.6Keep-Alive和哑代理

4.5.7插入Proxy-Connection

4.5.8HTTP/1.1持久连接

4.5.9持久连接的限制和规则

4.6管道化连接

4.7关闭连接的奥秘

4.7.1“任意”解除连接

4.7.2Content-Length及截尾操作

4.7.3连接关闭容限、重试以及幂等性

4.7.4正常关闭连接

4.8更多信息

4.8.1HTTP连接

4.8.2HTTP性能问题

4.8.3TCP/IP

第二部分HTTP结构

第5章Web服务器

5.1各种形状和尺寸的Web服务器

5.1.1Web服务器的实现

5.1.2通用软件Web服务器

5.1.3Web服务器设备

5.1.4嵌入式Web服务器

5.2最小的PerlWeb服务器

5.3实际的Web服务器会做些什么

5.4第一步——接受客户端连接

5.4.1处理新连接

5.4.2客户端主机名识别

5.4.3通过ident确定客户端用户

5.5第二步——接收请求报文

5.5.1报文的内部表示法

5.5.2连接的输入/输出处理结构

5.6第三步——处理请求

5.7第四步——对资源的映射及访问

5.7.1docroot

5.7.2目录列表

5.7.3动态内容资源的映射

5.7.4服务器端包含项

5.7.5访问控制

5.8第五步——构建响应

5.8.1响应实体

5.8.2MIME类型

5.8.3重定向

5.9第六步——发送响应

5.10第七步——记录日志

5.11更多信息

第6章代理

6.1Web的中间实体

6.1.1私有和共享代理

6.1.2代理与网关的对比

6.2为什么使用代理

6.3代理会去往何处

6.3.1代理服务器的部署

6.3.2代理的层次结构

6.3.3代理是如何获取流量的

6.4客户端的代理设置

6.4.1客户端的代理配置：手工配置

6.4.2客户端代理配置：PAC文件

6.4.3客户端代理配置：WPAD

6.5与代理请求有关的一些棘手问题

6.5.1代理URI与服务器URI的不同

6.5.2与虚拟主机一样的问题

6.5.3拦截代理会收到部分URI

6.5.4代理既可以处理代理请求，也可以处理服务器请求

6.5.5转发过程中对URI的修改

6.5.6URI的客户端自动扩展和主机名解析

6.5.7没有代理时URI的解析

6.5.8有显式代理时URI的解析

6.5.9有拦截代理时URI的解析

6.6追踪报文

6.6.1Via首部

6.6.2TRACE方法

6.7代理认证

6.8代理的互操作性

6.8.1处理代理不支持的首部和方法

6.8.2OPTIONS：发现对可选特性的支持

6.8.3Allow首部

6.9更多信息

第7章缓存

7.1冗余的数据传输

7.2带宽瓶颈

7.3瞬间拥塞

7.4距离时延

7.5命中和未命中的

7.5.1再验证

7.5.2命中率

7.5.3字节命中率

7.5.4区分命中和未命中的情况

7.6缓存的拓扑结构

7.6.1私有缓存

7.6.2公有代理缓存

7.6.3代理缓存的层次结构

7.6.4网状缓存、内容路由以及对等缓存

7.7缓存的处理步骤

7.7.1第一步——接收

7.7.2第二步——解析

7.7.3第三步——查找

7.7.4第四步——新鲜度检测

7.7.5第五步——创建响应

7.7.6第六步——发送

7.7.7第七步——日志

7.7.8缓存处理流程图

7.8保持副本的新鲜

7.8.1文档过期

7.8.2过期日期和使用期

7.8.3服务器再验证

7.8.4用条件方法进行再验证

7.8.5If-Modified-Since：Date再验证

7.8.6If-None-Match：实体标签再验证

7.8.7强弱验证器

7.8.8什么时候应该使用实体标签和最近修改日期

7.9控制缓存的能力

7.9.1no-Store与no-Cache响应首部

7.9.2max-age响应首部

7.9.3Expires响应首部

7.9.4must-revalidate响应首部

7.9.5试探性过期

7.9.6客户端的新鲜度限制

7.9.7注意事项

7.10设置缓存控制

7.10.1控制Apache的HTTP首部

7.10.2通过HTTP-EQUIV控制HTML缓存

7.11详细算法

7.11.1使用期和新鲜生存期

7.11.2使用期的计算

7.11.3完整的使用期计算算法

7.11.4新鲜生存期计算

7.11.5完整的服务器——新鲜度算法

7.12缓存和广告

7.12.1发布广告者的两难处境

7.12.2发布者的响应

7.12.3日志迁移

7.12.4命中计数和使用限制

7.13更多信息

第8章集成点：网关、隧道及中继

8.1网关

8.2协议网关

8.2.1HTTP/*：服务器端Web网关

8.2.2HTTP/HTTPS：服务器端安全网关

8.2.3HTTPS/HTTP客户端安全加速器网关

8.3资源网关

8.3.1CGI

8.3.2服务器扩展API

8.4应用程序接口和Web服务

8.5隧道

8.5.1用CONNECT建立HTTP隧道

8.5.2数据隧道、定时及连接管理

8.5.3SSL隧道

8.5.4SSL隧道与HTTP/HTTPS网关的对比

8.5.5隧道认证

8.5.6隧道的安全性考虑

8.6中继

8.7更多信息

第9章Web机器人

9.1爬虫及爬行方式

9.1.1从哪儿开始：根集

9.1.2链接的提取以及相对链接的标准化

9.1.3避免环路的出现

9.1.4循环与复制

9.1.5面包屑留下的痕迹

9.1.6别名与机器人环路

9.1.7规范化URL

9.1.8文件系统连接环路

9.1.9动态虚拟Web空间

9.1.10避免循环和重复

9.2机器人的HTTP

9.2.1识别请求首部

9.2.2虚拟主机

9.2.3条件请求

9.2.4对响应的处理

9.2.5User-Agent导向

9.3行为不当的机器人

9.4拒绝机器人访问

9.4.1拒绝机器人访问标准

9.4.2Web站点和robots.txt文件

9.4.3robots.txt文件的格式

9.4.4其他有关robots.txt的知识

9.4.5缓存和robots.txt的过期

9.4.6拒绝机器人访问的Perl代码

9.4.7HTML的robot-control元标签

9.5机器人的规范

9.6搜索引擎

9.6.1大格局

9.6.2现代搜索引擎结构

9.6.3全文索引

9.6.4发布查询请求

9.6.5对结果进行排序，并提供查询结果

9.6.6欺诈

9.7更多信息

第10章HTTP-NG

10.1HTTP发展中存在的问题

10.2HTTP-NG的活动

10.3模块化及功能增强

10.4分布式对象

10.5第一层——报文传输

10.6第二层——远程调用

10.7第三层——Web应用

10.8WebMUX

10.9二进制连接协议

10.10当前的状态

10.11更多信息

第三部分识别、认证与安全

第11章客户端识别与cookie机制

11.1个性化接触

11.2HTTP首部

11.3客户端IP地址

11.4用户登录

11.5胖URL

11.6cookie

11.6.1cookie的类型

11.6.2cookie是如何工作的

11.6.3cookie罐：客户端的状态

11.6.4不同站点使用不同的cookie

11.6.5cookie成分

11.6.6cookies版本0（Netscape）

11.6.7cookies版本1（RFC2965）

11.6.8cookie与会话跟踪

11.6.9cookie与缓存

11.6.10cookie、安全性和隐私

11.7更多信息

第12章基本认证机制

12.1认证

12.1.1HTTP的质询/响应认证框架

12.1.2认证协议与首部

12.1.3安全域

12.2基本认证

12.2.1基本认证实例

12.2.2Base-64用户名/密码编码

12.2.3代理认证

12.3基本认证的安全缺陷

12.4更多信息

第13章摘要认证

13.1摘要认证的改进

13.1.1用摘要保护密码

13.1.2单向摘要

13.1.3用随机数防止重放攻击

13.1.4摘要认证的握手机制

13.2摘要的计算

13.2.1摘要算法的输入数据

13.2.2算法H（d）和KD（s，d）

13.2.3与安全性相关的数据（A1）

13.2.4与报文有关的数据（A2）

13.2.5摘要算法总述

13.2.6摘要认证会话

13.2.7预授权

13.2.8随机数的选择

13.2.9对称认证

13.3增强保护质量

13.3.1报文完整性保护

13.3.2摘要认证首部

13.4应该考虑的实际问题

13.4.1多重质询

13.4.2差错处理

13.4.3保护空间

13.4.4重写URI

13.4.5缓存

13.5安全性考虑

13.5.1首部篡改

13.5.2重放攻击

13.5.3多重认证机制

13.5.4词典攻击

13.5.5恶意代理攻击和中间人攻击

13.5.6选择明文攻击

13.5.7存储密码

13.6更多信息

第14章安全HTTP

14.1保护HTTP的安全

14.2数字加密

14.2.1密码编制的机制与技巧

14.2.2密码

14.2.3密码机

14.2.4使用了密钥的密码

14.2.5数字密码

14.3对称密钥加密技术

14.3.1密钥长度与枚举攻击

14.3.2建立共享密钥

14.4公开密钥加密技术

14.4.1RSA

14.4.2混合加密系统和会话密钥

14.5数字签名

14.6数字证书

14.6.1证书的主要内容

14.6.2X.509v3证书

14.6.3用证书对服务器进行认证

14.7HTTPS——细节介绍

14.7.1HTTPS概述

14.7.2HTTPS方案

14.7.3建立安全传输

14.7.4SSL握手

14.7.5服务器证书

14.7.6站点证书的有效性

14.7.7虚拟主机与证书

14.8HTTPS客户端实例

14.8.1OpenSSL

14.8.2简单的HTTPS客户端

14.8.3执行OpenSSL客户端

14.9通过代理以隧道形式传输安全流量

14.10更多信息

14.10.1HTTP安全性

14.10.2SSL与TLS

14.10.3公开密钥基础设施

14.10.4数字密码

第四部分实体、编码和国际化

第15章实体和编码

15.1报文是箱子，实体是货物

15.2Content-Length：实体的大小

15.2.1检测截尾

15.2.2错误的Content-Length

15.2.3Content-Length与持久连接

15.2.4内容编码

15.2.5确定实体主体长度的规则

15.3实体摘要

15.4媒体类型和字符集

15.4.1文本的字符编码

15.4.2多部分媒体类型

15.4.3多部分表格提交

15.4.4多部分范围响应

15.5内容编码

15.5.1内容编码过程

15.5.2内容编码类型

15.5.3Accept-Encoding首部

15.6传输编码和分块编码

15.6.1可靠传输

15.6.2Transfer-Encoding首部

15.6.3分块编码

15.6.4内容编码与传输编码的结合

15.6.5传输编码的规则

15.7随时间变化的实例

15.8验证码和新鲜度

15.8.1新鲜度

15.8.2有条件的请求与验证码

15.9范围请求

15.10差异编码

15.11更多信息

第16章国际化

16.1HTTP对国际性内容的支持

16.2字符集与HTTP

16.2.1字符集是把字符转换为二进制码的编码

16.2.2字符集和编码如何工作

16.2.3字符集不对，字符就不对

16.2.4标准化的MIMEcharset值

16.2.5Content-Type首部和Charset首部以及META标志

16.2.6Accept-Charset首部

16.3多语言字符编码入门

16.3.1字符集术语

16.3.2字符集的命名很糟糕

16.3.3字符

16.3.4字形、连笔以及表示形式

16.3.5编码后的字符集

16.3.6字符编码方案

16.4语言标记与HTTP

16.4.1Content-Language首部

16.4.2Accept-Language首部

16.4.3语言标记的类型

16.4.4子标记

16.4.5大小写

16.4.6IANA语言标记注册

16.4.7第一个子标记——名字空间

16.4.8第二个子标记——名字空间

16.4.9其余子标记——名字空间

16.4.10配置和语言有关的首选项

16.4.11语言标记参考表

16.5国际化的URI

16.5.1全球性的可转抄能力与有意义的字符的较量

16.5.2URI字符集合

16.5.3转义和反转义

16.5.4转义国际化字符

16.5.5URI中的模态切换

16.6其他需要考虑的地方

16.6.1首部和不合规范的数据

16.6.2日期

16.6.3域名

16.7更多信息

16.7.1附录

16.7.2互联网的国际化

16.7.3国际标准

第17章内容协商与转码

17.1内容协商技术

17.2客户端驱动的协商

17.3服务器驱动的协商

17.3.1内容协商首部集

17.3.2内容协商首部中的质量值

17.3.3随其他首部集而变化

17.3.4Apache中的内容协商

17.3.5服务器端扩展

17.4透明协商

17.4.1进行缓存与备用候选

17.4.2Vary首部

17.5转码

17.5.1格式转换

17.5.2信息综合

17.5.3内容注入

17.5.4转码与静态预生成的对比

17.6下一步计划

17.7更多信息

第五部分内容发布与分发

第18章Web主机托管

18.1主机托管服务

18.2虚拟主机托管

18.2.1虚拟服务器请求缺乏主机信息

18.2.2设法让虚拟主机托管正常工作

18.2.3HTTP/1.1的Host首部

18.3使网站更可靠

18.3.1镜像的服务器集群

18.3.2内容分发网络

18.3.3CDN中的反向代理缓存

18.3.4CDN中的代理缓存

18.4让网站更快

18.5更多信息

第19章发布系统

19.1FrontPage为支持发布而做的服务器扩展

19.1.1FrontPage服务器扩展

19.1.2FrontPage术语表

19.1.3FrontPage的RPC协议

19.1.4FrontPage的安全模型

19.2WebDAV与协作写作

19.2.1WebDAV的方法

19.2.2WebDAV与XML

19.2.3WebDAV首部集

19.2.4WebDAV的锁定与防止覆写

19.2.5LOCK方法

19.2.6UNLOCK方法

19.2.7属性和元数据

19.2.8PROPFIND方法

19.2.9PROPPATCH方法

19.2.10集合与名字空间管理

19.2.11MKCOL方法

19.2.12DELETE方法

19.2.13COPY与MOVE方法

19.2.14增强的HTTP/1.1方法

19.2.15WebDAV中的版本管理

19.2.16WebDAV的未来发展

19.3更多信息

第20章重定向与负载均衡

20.1为什么要重定向

20.2重定向到何地

20.3重定向协议概览

20.4通用的重定向方法

20.4.1HTTP重定向

20.4.2DNS重定向

20.4.3任播寻址

20.4.4IPMAC转发

20.4.5IP地址转发

20.4.6网元控制协议

20.5代理的重定向方法

20.5.1显式浏览器配置

20.5.2代理自动配置

20.5.3Web代理自动发现协议

20.6缓存重定向方法

20.7因特网缓存协议

20.8缓存阵列路由协议

20.9超文本缓存协议

20.9.1HTCP认证

20.9.2设置缓存策略

20.10更多信息

第21章日志记录与使用情况跟踪

21.1记录内容

21.2日志格式

21.2.1常见日志格式

21.2.2组合日志格式

21.2.3网景扩展日志格式

21.2.4网景扩展2日志格式

21.2.5Squid代理日志格式

21.3命中率测量

21.3.1概述

21.3.2Meter首部

21.4关于隐私的考虑

21.5更多信息

第六部分附录

附录AURI方案

附录BHTTP状态码

附录CHTTP首部参考

附录DMIME类型

附录EBase-64编码

附录F摘要认证

附录G语言标记

附录HMIME字符集注册表

索引