http协议详解

date: 2013.05.23; modification:2014.12.05

目录:

1 引言

1.1 简介

HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。 它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版, HTTP/1.1的规范化工作正在进行之中,而且HTTP-NG(Next Generation of HTTP)的建议已经提出。

HTTP协议的主要特点可概括如下:

1.2 HTTP消息

HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。 请求消息和响应消息都是由如下几部分组成.

2 HTTP协议详解之URL篇

HTTP(超文本传输协议)是一个基于请求与响应模式的、无状态的、应用层的协议, 常基于TCP的连接方式,HTTP1.1版本中给出一种持续连接的机制,绝大多数的Web开发,都是构建在HTTP协议之上的Web应用。

HTTP URL (URL是一种特殊类型的URI,包含了用于查找某个资源的足够的信息)的格式如下:

http://host[":"port][abs_path]

例:

2.1 HTTP协议详解之请求篇

http请求由三部分组成,分别是:请求行消息报头请求正文

2.1.1 请求行

请求行以一个方法符号开头,以空格分开,后面跟着请求的URI和协议的版本,格式如下:

<pre >
Method Request-URI HTTP-Version CRLF 

说明:

应用举例:

    GET /form.html HTTP/1.1 (CRLF)
    POST /reg.jsp HTTP/ (CRLF)
    Accept:image/gif,image/x-xbit,... (CRLF)
    ...
    HOST:www.guet.edu.cn (CRLF)
    Content-Length:22 (CRLF)
    Connection:Keep-Alive (CRLF)
    Cache-Control:no-cache (CRLF)
    (CRLF)         //该CRLF表示消息报头已经结束,在此之前为消息报头
    user=jeffrey&pwd=1234  //此行以下为提交的数据

2.2 请求报头

请求报头后述

2.3 请求正文

请求正文略

3 HTTP协议详解之响应篇

在接收和解释请求消息后,服务器返回一个HTTP响应消息。

HTTP响应也是由三个部分组成,分别是:状态行消息报头响应正文

3.1 状态行

状态行格式如下:
    HTTP-Version Status-Code Reason-Phrase CRLF

说明:

常见状态代码、状态描述、说明:

eg:HTTP/1.1 200 OK (CRLF)

3.2 响应报头

响应报头后述

3.3 响应正文

响应正文就是服务器返回的资源的内容

4 HTTP协议详解之消息报头篇

HTTP消息报头包括普通报头请求报头响应报头实体报头

每一个报头域都是由名字+“:”+空格+ 组成,消息报头域的名字是大小写无关的。

4.1 普通报头

在普通报头中,有少数报头域用于所有的请求和响应消息,但并不用于被传输的实体,只用于传输的消息。

4.2 请求报头

请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。

4.2.1 常用的请求报头

4.2.2 请求报头举例

<pre >
GET /form.html HTTP/1.1 (CRLF)
Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)
Accept-Language:zh-cn (CRLF)
Accept-Encoding:gzip,deflate (CRLF)
If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)
User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
Host:www.guet.edu.cn (CRLF)
Connection:Keep-Alive (CRLF)
(CRLF)
</pre>

4.3 响应报头

响应报头允许服务器传递不能放在状态行中的附加响应信息, 以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

4.3.1 常用的响应报头

4.4 实体报头

请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成, 但并不是说实体报头域和实体正文要在一起发送,可以只发送实体报头域. 实体报头定义了关于实体正文(eg:有无实体正文)和请求所标识的资源的元信息。

4.4.1 常用的实体报头

5 利用telnet观察http协议的通讯过程

实验目的及原理:利用MS的telnet工具,通过手动输入http请求信息的方式,向服务器发出请求, 服务器接收、解释和接受请求后,会返回一个响应,该响应会在telnet窗口上显示出来, 从而从感性上加深对http协议的通讯过程的认识。

5.1 实验步骤

1、打开telnet 1.1 打开telnet 运行-->cmd-->telnet

1.2 打开telnet回显功能 set localecho

2、连接服务器并发送请求 2.1 open www.guet.edu.cn 80 //注意端口号不能省略

<pre >
HEAD /index.asp HTTP/1.0
Host:www.guet.edu.cn
</pre>

/*我们可以变换请求方法,请求桂林电子主页内容,输入消息如下*/
<pre >
open www.guet.edu.cn 80

GET /index.asp HTTP/1.0  //请求资源的内容
Host:www.guet.edu.cn  
</pre>

2.2 open www.sina.com.cn 80 //在命令提示符号下直接输入telnet www.sina.com.cn 80

<pre >
HEAD /index.asp HTTP/1.0
Host:www.sina.com.cn
</pre>

5.1.1 实验结果

3.1 请求信息2.1得到的响应是:

<pre >
HTTP/1.1 200 OK                                              //请求成功
Server: Microsoft-IIS/5.0                                    //web服务器
Date: Thu,08 Mar 200707:17:51 GMT
Connection: Keep-Alive                                
Content-Length: 23330
Content-Type: text/html
Expries: Thu,08 Mar 2007 07:16:51 GMT
Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/
Cache-control: private
</pre>

//资源内容省略

3.2 请求信息2.2得到的响应是:

<pre >
HTTP/1.0 404 Not Found       //请求失败
Date: Thu, 08 Mar 2007 07:50:50 GMT
Server: Apache/2.0.54 <Unix>
Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT
ETag: "6277a-415-e7c76980"
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix
Vary: Accept-Encoding
Content-Type: text/html
X-Cache: MISS from zjm152-78.sina.com.cn
Via: 1.0 zjm152-78.sina.com.cn:80<squid/2.6.STABLES-20061207>
X-Cache: MISS from th-143.sina.com.cn
Connection: close

失去了跟主机的连接

按任意键继续...
</pre>

4 .注意事项:

6 HTTP协议相关技术补充

6.1 基础

高层协议有:文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等

中介有三种:代理(Proxy)网关(Gateway)通道(Tunnel), 一个代理根据URI的绝对格式来接受请求重写全部或部分消息, 通过 URI的标识把已格式化过的请求发送到服务器。

网关(Gateway) 是一个接收代理,作为一些其它服务器的上层,并且如果必须的话, 可以把请求翻译给下层的服务器协议。一 个通道作为不改变消息的两个连接之间的中继点. 当通讯需要通过一个中介(例如:防火墙等)或者是中介不能识别消息的内容时,通道经常被使用。

代理(Proxy) 一个中间程序,它可以充当一个服务器,也可以充当一个客户机, 为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的服务器中。 一个代理在发送请求信息之前,必须解释并且如果可能重写它。 代理经常作为通过防火墙的客户机端的门户, 代理还可以作为一个帮助应用来通过协议处理没有被用户代理完成的请求。

网关(Gateway) 一个作为其它服务器中间媒介的服务器。与代理不同的是, 网关接受请求就好象对被请求的资源来说它就是源服务器; 发出请求的客户机并没有意识到它在同网关打交道。 网关经常作为通过防火墙的服务器端的门户, 网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。

通道(Tunnel) 是作为两个连接中继的中介程序。一旦激活, 通道便被认为不属于HTTP通讯,尽管通道可能是被一个HTTP请求初始化的。 当被中继的连接两端关闭时,通道便消失。当一个门户(Portal)必须存在或中介 (Intermediary) 不能解释中继的通讯时通道被经常使用。

6.2 协议分析的优势—HTTP分析器检测网络攻击

以模块化的方式对高层协议进行分析处理,将是未来入侵检测的方向。 HTTP及其代理的常用端口80、3128和8080在network部分用port标签进行了规定

6.3 HTTP协议Content Lenth限制漏洞导致拒绝服务攻击

使用POST方法时,可以设置ContentLenth来定义需要传送的数据长度, 例如ContentLenth:999999999,在传送完成前,内存不会释放,攻击者可以利用这个缺陷, 连续向WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。 http://www.cnpaf.net/Class/HTTP/0532918532667330.html

6.4 利用HTTP协议的特性进行拒绝服务攻击的一些构思

服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求(毕竟客户端的正常请求比率非常之小), 此时从正常客户的角度看来,服务器失去响应,这种情况我们称作:服务器端受到了SYNFlood攻击(SYN洪水攻击)。 而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。

19端口在早期已经有人用来做Chargen攻击了,即Chargen_Denial_of_Service, 但是!他们用的方法是在两台Chargen 服务器之间产生UDP连接,让服务器处理过多信息而DOWN掉, 那么,干掉一台WEB服务器的条件就必须有2个:1.有Chargen服务2.有HTTP 服务

方法:攻击者伪造源IP给N台Chargen发送连接请求(Connect), Chargen接收到连接后就会返回每秒72字节的字符流(实际上根据网络实际情况,这个速度更快)给服务器。

6.5 Http指纹识别技术

Http指纹识别的原理大致上也是相同的:记录不同服务器对Http协议执行中的微小差别进行识别. Http指纹识别比TCP/IP堆栈指纹识别复杂许多, 理由是定制Http服务器的配置文件, 增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难; 然而定制TCP/IP堆栈的行为需要对核心层进行修改,所以就容易识别.

要让服务器返回不同的Banner信息的设置是很简单的,象Apache这样的开放源代码的Http服务器,用户可以在源代码里修改Banner信息,然 后重起Http服务就生效了;对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修 改,相关的文章有讨论的,这里不再赘述,当然这样的修改的效果还是不错的.另外一种模糊Banner信息的方法是使用插件。

常用测试请求:

  1. HEAD/Http/1.0发送基本的Http请求
  2. DELETE/Http/1.0发送那些不被允许的请求,比如Delete请求
  3. GET/Http/3.0发送一个非法版本的Http协议请求
  4. GET/JUNK/1.0发送一个不正确规格的Http协议请求

Http指纹识别工具Httprint,它通过运用统计学原理,组合模糊的逻辑学技术, 能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。

6.6 其他

为了提高用户使用浏览器时的性能,现代浏览器还支持并发的访问方式, 浏览一个网页时同时建立多个连接,以迅速获得一个网页上的多个图标,这样能更快速完成整个网页的传输。

HTTP1.1中提供了这种持续连接的方式,而下一代HTTP协议: HTTP-NG更增加了有关会话控制、丰富的内容协商等方式的支持,来提供更高效率的连接。

7 HTTP1.0 vs HTTP1.1

7.1 HTTP1.0

当连接建立起来以后, 浏览器发送一个请求, 之后一个回应消息被送回来, 然后TCP连接被释放. 这在早期, Web页面通常只包含HTML文本, 在这种情况下, 这样的做法已经足够了. 但是, 现在的网页一般还含有大量的图标, 图象, 音视频等的内容, 所以建立一个TCP连接仅仅传输一个图标, 则显得代价太昂贵了.

7.2 HTTP1.1

它支持持续连接. 通过这种连接, 就有可能在建立一个TCP连接后, 发送请求并得到回应, 然后发送更多的请求并得到更多的回应. 通过把建立和释放TCP连接的开销分摊到多个请求上, 则对于每个请求而言, 由于TCP而造成的相对开销被大大地降低了. 而且,还可以发送流水线请求,也就是说在发送请求1地回应到来之前就发送请求2.