HttpUrlConnection之gzip相关

进入主题之前，我们先来看一下客户端与服务器通信过程中，如果服务器支持，HTTP gzip压缩是如何实现的？

如图所示：

​

​Accept-Encoding: gzip​

​，告知服务器客户端接受gzip的数据。

服务器支持的情况下，返回gzip后的response body，同时加入以下header：​

​Content-Encoding: gzip​

​

• ：表明body是gzip过的数据

​

​Content-Length:117​

​

• ：表示body gzip压缩后的数据大小，便于客户端使用。

  或

​

​Transfer-Encoding: chunked​

​

• ：分块传输编码

OK，HTTP gzip压缩的基本流程我们理清楚了，来看在Android各网络框架中表现有什么差异。

OkHttp

OkHttp作为目前Android最火的网络库，应用范围较广，相比于Android自带的HttpUrlConnection、Apache坑也少很多。

我们首先来看这个库的实现：

（注：以下代码基于OkHttp 3.4.1, 之前的版本逻辑也是一样的，但3.4.0开始将这些逻辑抽离到了内置的interceptor中，看起来较为方便）

BridgeInterceptor.java

// If we add an "Accept-Encoding: gzip" header field we're responsible for also decompressing
// the transfer stream.
boolean transparentGzip = false;
if (userRequest.header("Accept-Encoding") == null) {
  transparentGzip = true;
  requestBuilder.header("Accept-Encoding", "gzip");
}      

​

​Accept-Encoding​

​，默认自动添加 ，且标记变量​

​transparentGzip​

​为​

​true​

​。

if (transparentGzip
    && "gzip".equalsIgnoreCase(networkResponse.header("Content-Encoding"))
    && HttpHeaders.hasBody(networkResponse)) {
  GzipSource responseBody = new GzipSource(networkResponse.body().source());
  Headers strippedHeaders = networkResponse.headers().newBuilder()
      .removeAll("Content-Encoding")
      .removeAll("Content-Length")
      .build();
  responseBuilder.headers(strippedHeaders);
  responseBuilder.body(new RealResponseBody(strippedHeaders, Okio.buffer(responseBody)));
}      

针对返回结果，如果同时满足以下三个条件：

​

​transparentGzip​

​

• 为

​

​true​

​

• ，即之前自动添加了

​

​Accept-Encoding​

​

• header中标明了

​

​Content-Encoding​

​

• 为gzip
• 有body

​

​Content-Encoding​

​、​

​Content-Length​

​，并对结果进行解压缩。

可以看到以上逻辑完成了：

1. 开发者没有添加

​

​Accept-Encoding​

​

1. 时，自动添加

​

​Accept-Encoding: gzip​

​

1. 自动添加的request，response支持自动解压
2. 手动添加不负责解压缩
3. 自动解压时移除

​

​Content-Length​

​

1. ，所以上层Java代码想要contentLength时为-1
2. 自动解压时移除

​

​Content-Encoding​

​

1. 自动解压时，如果是分块传输编码，

​

​Transfer-Encoding: chunked​

​

1. 不受影响。

以上6点是我们通过OkHttp源码得出的结论，我们以此来继续看下其他框架。

HttpUrlConnection

Accept-Encoding: gzip

官网有过说明：

In Gingerbread, we added transparent response compression. HttpURLConnection will automatically add this header to outgoing requests, and handle the corresponding response:

Accept-Encoding: gzip

Take advantage of this by configuring your Web server to compress responses for clients that can support it. If response compression is problematic, the ​class documentation shows how to disable it.

​

​Accept-Encoding​

​会被自动添加上​

​Accept-Encoding: gzip​

​。

2. 自动添加的request，response是否支持自动解压

By default, this implementation of HttpURLConnection requests that servers use gzip compression and it automatically decompresses the data for callers of getInputStream().

即返回的数据是已经自动解压缩的。

3. 手动添加是否负责解压缩

By default, this implementation of HttpURLConnection requests that servers use gzip compression and it automatically decompresses the data for callers of getInputStream(). The Content-Encoding and Content-Length response headers are cleared in this case. Gzip compression can be disabled by setting the acceptable encodings in the request header:

urlConnection.setRequestProperty("Accept-Encoding", "identity");

Setting the Accept-Encoding request header explicitly disables automatic decompression and leaves the response headers intact; callers must handle decompression as needed, according to the Content-Encoding header of the response.

​

​identity​

​时可以禁止gzip压缩。

但是请注意最后一段提到，显式声明会禁止自动解压，同时保留header完整性，需要根据​

​Content-Encoding​

​来自己处理response。

实测4.1 - 6.0 版本之后发现，并不是非要指定identity才能屏蔽，指定gzip一样也不会解压缩。so，只要是显式声明过，都不会再处理，即：手动添加不会负责解压缩。

4. 自动解压时Content-Length问题

Since HTTP’s Content-Length header returns the compressed size, it is an error to use getContentLength() to size buffers for the uncompressed data. Instead, read bytes from the response until InputStream.read() returns -1.

​

​getContentLength()​

​​

​Content-Length​

​移除，contentLength在Java层获取为-1，而HttpURLConnection 在Android 4.4以后底层是由OkHttp实现的，那文档中提到的​

​getContentLength()​

​是compressed size是否还继续成立呢？

实测后发现 ：

• 4.4之后的版本，

​

​Content-Length​

​

• 被移除，

​

​getContentLength()​

​

• 2.3- 4.3之间，

​

​Content-Length​

​

• 没有移除，

​

​getContentLength()​

​

5. 自动解压时的Content-Encoding

与Content-Length对应：

• 4.4之后的版本，

​

​Content-Encoding​

​

• 被移除
• 2.3- 4.3之间，

​

​Content-Encoding​

​

• 存在，无变化。

6. 自动解压时的分块编码传输

​

​Transfer-Encoding: chunked​

​不受影响。

Apache

这里不再赘述，仅阐述结论：

无自动添加、解压机制。

总结

​

​Accept-Encoding​

​与数据自动解压？

name	transparent response compression
OkHttp	yes
HttpUrlConnection	yes
Apache	no

2、支持自动后，response header的表现如何？

name	Content-Encoding: gzip	Header : Content-Length	Java : ContentLength
OkHttp	被移除	被移除	-1
HttpUrlConnection(2.3 ~ 4.3)	不变	不变	compressed size
HttpUrlConnection(4.4 ~ ?)	被移除	被移除	-1

或

name	Content-Encoding: gzip	Transfer-Encoding: chunked
OkHttp	被移除	不变
HttpUrlConnection(2.3 ~ 4.3)	不变	不变
HttpUrlConnection(4.4 ~ ?)	被移除

参考资料

• ​​Android’s HTTP Clients​​
• ​​HttpURLConnection​​
• ​​HTTP 协议中的 Transfer-Encoding​​