来自 科技 2019-12-26 16:33 的文章

该如何缓解网卡的普遍问题?

作者 | 阿文

责编 | Elle

在互联网的早期,使用网络分片和分段的机制,可以很大程度上减轻了解决低速网络传输的不可靠性问题,下面先简单介绍下网络分片技术。

网络分片技术

MTU

最大传输单元(Maximum Transmission Unit,MTU)用来通知对方所能接受数据服务单元的最大尺寸,说明发送方能够接受的有效载荷大小。是包或帧的最大长度,一般以字节记。

在以太网通信中,MTU规定了经过网络层封装的数据包的最大长度。例如,若某个接口的MTU值为1500,则通过此接口传送的IP数据包的最大长度为1500字节。在Linux中通过netstat -i 可以查看对于网卡接口的MTU,如下所示:

[root@centos ~] # netstat -i

Kernel Interface table

Iface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg

eth0 1500318145000492216000BMRU

lo 6553653340005334000LRU

MSS

MSS(Maximum Segment Size,最大报文长度),是TCP协议定义的一个选项,MSS选项用于在TCP连接建立时,收发双方协商通信时每一个报文段所能承载的最大数据长度。

为了达到最佳的传输效能,TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes)所以一般MSS值1460。

而一般以太网MTU都为1500, 所以在以太网中, 往往TCP MSS为1460。

协商TCP MSS大小具体过程如下:

TCP client发出SYN报文,其中option选项填充的MSS字段一般为(MTU-IP头大小-TCP头大小),同样TCP server收到SYN报文后,会发送SYN+ACK报文应答,option选项填充的mss字段也为(MTU-IP头大小-TCP头大小);协商双方会比较SYN和SYN+ACK报文中MSS字段大小,选择较小的MSS作为发送TCP分片的大小。

对于涉及PPPOE+NAT、IPsec、L2TP、GRE等组网,通常由于报文太大需要分片,这样会降低传输速率; 所以选择一个合适的MSS对传输数据来说比较重要. linux中一般可以通过netfilter iptables设置TCP MSS来解决。

iptables -A FORWARD-p tcp- -tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss- to-pmtu

该规则的目的就是改变TCP MSS以适应PMTU(Path MTU)

iptables -A FORWARD-p tcp --tcp-flags SYN,RST SYN- j TCPMSS -- set-mss 1024

设置MSS为1024

IP分片

当IP层需要传送的数据包长度超过MTU值时,则IP层需要对该数据包进行分片,使每一片的长度小于或等于MTU值。在分片过程中,除了对payload进行分片外,数据包的IP首部也需要进行相应的更改:

将identifier字段的值复制给每个分片; 将分片数据包的Flags中的DF位置为0; 除最后一个分片之外的其他分片,将MF位置为1; 将Fragment Offset字段设置正确的值。

TCP分段

在TCP通信建立连接时,取两端提供的MSS的最小值作为会话的MSS值。当一次传输的payload数据长度大于MSS限制时,会将payload分割为多个数据段,分别封装在tcp报文中,按顺序进行传输。

由于MSS的限制,TCP通信在传输较长数据时会先进行TCP分段,所以其IP层报文长度会小于等于MTU值,因此TCP报文不会进行IP分片。而UDP通信由于没有类似机制,因此传输较长数据时,会在IP层根据MTU的限制,进行IP分片。简单概括起来就是:TCP协议进行TCP分段,UDP协议进行IP分片

网卡的offload机制

随着网络技术的发展和传输速度的提升,现在数据的传输量越来越大,因此,无论是IP分片还是TCP分段机制,对大量分片/分段包进行拆分/重组的工作,都带来了大量的计算需求,即面临着越来越多的CPU消耗。offload机制应运而生,它可以提升网络的收发性能,将本来该操作系统进行的一些数据包处理(如分片、重组等)放到网卡硬件中去做, 降低系统 CPU 消耗的同时,提高处理的性能。越来越多的网卡设备支持 offload 特性。

网卡 offload 包括 LSO/LRO、GSO/GRO、TSO/UFO 等。

LSO/LRO

LSO/LRO 分别对应到发送和接收两个方向,全称是 Large Segment Offload 和 Large Receive Offload。

LSO 计算机网络上传输的数据基本单位是离散的网包,既然是网包,就有大小限制,这个限制就是 MTU(Maximum Transmission Unit)的大小,一般是 1518 字节。

比如我们想发送很多数据出去,经过 OS 协议栈的时候,会自动帮你拆分成几个不超过 MTU 的网包。然而,这个拆分是比较费计算资源的(比如很多时候还要计算分别的 checksum),由 CPU 来做的话,往往会造成使用率过高。

在发送数据超过 MTU 限制的时候(太容易发生了),OS 只需要提交一次传输请求给网卡,网卡会自动的把数据拿过来,然后进行切,并封包发出,发出的网包不超过 MTU 限制。这就是LSO。

当网卡收到很多碎片包的时候,LRO 可以辅助自动组合成一段较大的数据,一次性提交给 OS 处理一般的,LSO 和 LRO 主要面向 TCP 报文。

TSO/UFO

TCP Segmentation Offload 和 UDP fragmentation offload,分别对应 TCP 报文和 UDP 报文。

对于支持TSO机制的网卡,可以直接把不超过滑动窗口大小 的payload下传给协议栈,即使数据长度大于MSS,也不会在TCP层进行分段,同样也不会进行IP分片,而是直接传送给网卡驱动,由网卡驱动进行tcp分段操作,并执行checksum计算和包头、帧头的生成工作。

UFO是专门针对udp协议的特性,主要机制就是将IP分片的过程转移到网卡中进行,用户层可以发送任意大小的udp数据包(udp数据包总长度最大不超过64k),而不需要协议栈进行任何分片操作。主要应用在虚拟化设备上,实际支持UFO机制的网卡非常少见。

GSO/GRO

对应的是 Generic Segmentation Offload 和 Generic Receive Offload。

可以理解为是TSO/UFO的合并升级,是针对所有协议设计的发送模式,更为通用。同时,GSO机制并不完全依赖于网卡硬件层面的支持。GSO机制首先通过软件实现的方式,将IP分片/TCP分段的操作,尽可能的向底层推迟,直到数据发送给网卡驱动之前。再对网卡的硬件特性进行判断,如果支持TSO/UFO机制,就直接把数据发送给网卡,由网卡进行IP分片/TCP分段操作。若网卡不支持上述机制,则在数据发送给网卡之前再去进行IP分片/TCP分段操作,这样即使不依靠网卡硬件,也最大幅度的减少了协议栈处理的次数,提高数据处理和传输的效率。

它比LSO 和 LRO 更通用,能够自动检测网卡支持特性,支持分包则直接发给网卡,否则先分包后发给网卡。的驱动一般用 GSO/GRO。

目前在实际的网卡应用上,主要是TSO和GSO机制组合使用,除了GSO单独作用于UDP报文以外,TSO和GSO都作用于TCP报文,其组合关系如下:

• GSO开启, TSO开启: 协议栈推迟分段,并直接传递大数据包到网卡,让网卡自动分段。

• GSO开启, TSO关闭: 协议栈推迟分段,在最后发送到网卡前才执行分段。

• GSO关闭, TSO开启: 同GSO开启, TSO开启。

• GSO关闭, TSO关闭: 不推迟分段,在tcp_sendmsg中直接发送MSS大小的数据包。

配置offload

我们使用 ethtool -k interface 可以查看当前网卡是否有开启这些特性

[root@centos ~] # ethtool -k eth0

Features foreth0:

……

tcp-segmentation-offload: on

tx-tcp-segmentation: on

tx-tcp-ecn-segmentation: on

tx-tcp-mangleid-segmentation: on

tx-tcp6-segmentation: on

udp-fragmentation-offload: off

generic-segmentation-offload: on

generic-receive-offload: on

large-receive-offload: off

……

如果要开启或关闭

# ethtool -k eth0 gro off

# ethtool -k eth0 gso off

# ethtool -k eth0 tso off

在gro gso tso 为on 的情况下,使用tcp抓包,会发现length 超过 mtu 所设置的值

15 :46:58.892537IPcentos.ssh> 223 .132.11.12.37101: Flags[.], ack11085075, win13706, length0

15 :46:58.892574IP223 .132.11.12.37101> centos.ssh: Flags[P.], seq11085075 :11086523, ack13969, win1024, length1448

15 :46:58.892592IP223 .132.11.12.37101> centos.ssh: Flags[.], seq11086523 :11089419, ack13969, win1024, length2896

15 :46:58.892596IPcentos.ssh> 223 .132.11.12.37101: Flags[.], ack11089419, win13706, length0

15 :46:58.892652IP223 .132.11.12.37101> centos.ssh: Flags[.], seq11089419 :11093763, ack13969, win1024, length4344

15 :46:58.892657IPcentos.ssh> 223 .132.11.12.37101: Flags[.], ack11093763, win13706, length0

而如果关闭,则length 最大值会在mtu所设置的范围之内。

15 :53:01.123621IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44699683 :44701131, ack57626, win1024, length1448

15 :53:01.123627IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44701131 :44702579, ack57626, win1024, length1448

15 :53:01.123695IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44702579 :44704027, ack57626, win1024, length1448

15 :53:01.123698IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44704027 :44705475, ack57626, win1024, length1448

15 :53:01.123701IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44705475 :44706923, ack57626, win1024, length1448

15 :53:01.123706IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44706923 :44708371, ack57626, win1024, length1448

15 :53:01.123708IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44708371 :44709819, ack57626, win1024, length1448

15 :53:01.123710IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44709819 :44711267, ack57626, win1024, length1448

15 :53:01.123782IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44711267 :44712715, ack57626, win1024, length1448

15 :53:01.123788IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44712715 :44714163, ack57626, win1024, length1448

15 :53:01.123791IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44714163 :44715611, ack57626, win1024, length1448

15 :53:01.123793IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44715611 :44717059, ack57626, win1024, length1448

15 :53:01.123795IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44717059 :44718507, ack57626, win1024, length1448

15 :53:01.123870IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44718507 :44719955, ack57626, win1024, length1448

15 :53:01.123874IP223 .132.11.12.3477> iZ28wru16cpZ.65422: Flags[.], seq44719955 :44721403, ack57626, win1024, length1448

声明:本文系作者投稿。

☞干货分享: 服务器处理器基础知识