dbaplus社群 2024年11月24日
只因把 https 改成 http,带宽减少了 70% !
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

文章分析了一个高并发采集服务上线后,上行带宽被迅速打满的问题。经排查发现,每个GET请求的TLS握手过程消耗了大量带宽,导致带宽不足。文章详细解释了TLS握手过程,以及它对带宽和服务器负载的影响。为了解决此问题,文章提出了两种方案:一是直接使用HTTP协议,避免TLS握手;二是使用Keep-Alive机制,在同一TCP连接上发送多个HTTPS请求,减少握手次数。文章最后也提醒了Keep-Alive的超时机制以及代理IP对Keep-Alive效果的影响。

🤔 **TLS握手过程及带宽消耗:** TLS握手是HTTPS协议建立连接时的必要步骤,涉及证书、公钥、加密算法等信息的交换,这部分数据占据了较大的带宽,例如文中提到的1.27kb,导致高并发场景下带宽迅速被占满。

💡 **使用HTTP协议减少带宽消耗:** 在非必须使用HTTPS的场景下,可以使用HTTP协议,避免TLS握手过程,从而节省带宽和降低服务器负载。文章通过抓包对比,证明了HTTP请求体积明显小于HTTPS请求,达到了节省带宽的目的。

🤝 **使用Keep-Alive复用TCP连接:** 对于必须使用HTTPS的场景,可以使用Keep-Alive机制,在同一个TCP连接上发送多个HTTPS请求,减少握手次数,从而提高效率。但需要注意Keep-Alive的超时时间,超过时间连接会被关闭,需要重新建立连接。

⚠️ **代理IP对Keep-Alive的影响:** 如果采集程序使用了大量的代理IP,Keep-Alive的效果会受到影响,因为每个代理IP可能都会重新建立连接。在这种情况下,使用HTTP可能更有效。

2024-11-24 08:01 广东

TLS Handshake 是什么来头,竟然如此大?


一、起因


是一个高并发的采集服务上线后,100m的上行很快就被打满了。


因为这是一条专线,并且只有这一个服务在使用,所以可以确定就是它导致的。


但是!这个请求只是一个 GET 请求,同时并没有很大的请求体,这是为什么呢?


于是使用 charles 重新抓包后发现,一个 request 的请求居然要占用 1.68kb 的大小!


其中TLS Handshake 就占了 1.27kb。



这种情况下,需要的上行带宽就是:1.68*20000/1024*8=262.5mbps


也就说明100mbps的上行为何被轻松打满


二、TLS Handshake是什么来头,竟然如此大?


首先要知道HTTPS全称是:HTTP over TLS,每次建立新的TCP连接通常需要进行一次完整的TLS Handshake。在握手过程中,客户端和服务器需要交换证书、公钥、加密算法等信息,这些数据占用了较多的字节数。


TLS Handshake的内容主要包括:



这个过程不仅耗时,还会消耗带宽和CPU资源。


因此想到最粗暴的解决方案也比较简单,就是直接使用 HTTP,省去TLS Handshake的过程,那么自然就不会有 TLS 的传输了。


那么是否真的有效呢?验证一下就知道。


将请求协议改成 http 后:



可以看到请求头确实不包含 TLS Handshake了!


整个请求只有 0.4kb,节省了 70% 的大小


目标达成


因此可以说明:在一些不是必须使用 https 的场景下,使用 http 会更加节省带宽。


同时因为减少了加密的这个过程,可以观察到的是,在相同的并发下,服务器的负载有明显降低。


三、那么问题来了


如果接口必须使用 https那怎么办呢?


当然还有另外一个解决方案,那就使用使用 Keep-Alive。


headers 中添加 Connection: keep-alive 即可食用。


通过启用 Keep-Alive,

可以在同一TCP连接上发送多个HTTPS请求,

而无需每次都进行完整的TLS Handshake,

但第一次握手时仍然需要传输证书和完成密钥交换。


对于高并发的场景也非常适用。


四、要注意的是


keep-alive 是有超时时间的,超过时间连接会被关闭,再次请求需要重新建立链接。


Nginx 默认的 keep-alive 超时是 75 秒,

Apache HTTP 服务器 通常默认的 keep-alive 超时是 5 秒。


ps:如果你的采集程序使用了大量的代理 ip那么 keep-alive 的效果并不明显~~最好的还是使用 http 。



作者丨麦麦麦造

来源丨网址:https://juejin.cn/post/7409138396792881186

dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn


跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

TLS Handshake HTTPS 带宽优化 Keep-Alive 高并发
相关文章