大流量、高负载LVS系统优化注意事项[Linux安全]

编者按:本文对大流量、高负载LVS系统优化供应了参考看法,从IPVS、网卡、TCP/IP配置、硬件资源配置等方面举行了阐述.文章重点关注了IPVS connection hash table的参数计算历程.

Linux环境

CentOS 5.5

名词

LVS   :   Linux Virtual Server

IPVS :   IP Virtual Server,IPVS 是 LVS 实现的关键.

IPVS connection hash table  :  IPVS衔接哈希表,用来“跟踪”进来、出去的网络包（for input and output packets lookups of IPVS).

ip_vs_conn 构造体: 定义在内核档 include/net/ip_vs.h 中.该构造体（对象）是 IPVS 的调度对象.在 32 位系统上 128字节,64位系统上 192 字节.

IPVS connection hash table

内核中的代码:net/netfilter/ipvs/ip_vs_conn.c

int ip_vs_conn_tab_bits;

编译时可以定,Kconfig文件中阐明该值的大小应当在 8 到 20 之间.当ip_vs_conn_tab_bits=20 时,哈希表的的大小（条目）为 pow(2,20),即 1048576,约 104 万,充足用了.

int ip_vs_conn_tab_size;

IPVS哈希衔接表的条目数（list_head构造数）.

ip_vs_conn_tab_size = 1 << ip_vs_conn_tab_bits;

哈希表的大小（条目数）是 2 的 ip_vs_conn_tab_bits 次方.

ip_vs_conn_tab = vmalloc(ip_vs_conn_tab_size * sizeof(struct list_head));

此中 IPVS衔接哈希表占用的内存大小是 ip_vs_conn_tab_size * sizeof(struct list_head)

内核Kconfig文件中说一个哈希条目点用8个字节,但是实示上,一个条目占用的内存大小是和 list_head 构造体的大小相关, （大概）在32位的内核里是8个字节,64位的内核里是16个字节.当加载ip_vs模块的时刻,利用dmesg可以看到具体的信息:

在32位系统上

IPVS: Registered protocols (TCP, UDP, AH, ESP)

IPVS: Connection hash table configured (size=4096, memory=32Kbytes)

IPVS: ipvs loaded.

在64位的系统上:

IPVS: Registered protocols (TCP, UDP, AH, ESP)

IPVS: Connection hash table configured (size=4096, memory=64Kbytes)

IPVS: ipvs loaded.

哈希冲突,是哈希算法的致命伤.“IPVS”利用“链表战略”(chaining scheme) 办理哈希冲突.当有大量的衔接时,一个大的 “IPVS衔接哈希表”将大大削减冲突.削减了冲突,意为着IPVS定位 ip_vs_conn 对象的速度更快.

下图表示了哈希表（Hash Table）这种数据构造.引用

如上图所示,首先分配一个指针数组,数组的每个元素是一个链表的头指针,每个链表称为一个槽（Slot）.哪个数据应当放入哪个槽中由哈希函数决意,在这个例子中我们简单地选取哈希函数h(x) = x % 11,这样肆意数据x都可以映射成0~10之间的一个数,就是槽的编号,将数据放入某个槽的操作就是链表的插入操作.

假如每个槽里至多只有一个数据,可以想像这种情形下search、insert和delete操作的时间复杂度都是O(1),但有时会有多个数据被哈希函数映射到同一个槽中,这称为碰撞（Collision）,计划一个好的哈希函数可以把数据对比均匀地分布到各个槽中,尽大概避免碰撞.假如能把n个数据对比均匀地分布到m个槽中,每个糟里约有n/m个数据,则search、insert和delete和操作的时间复杂度都是O(n/m),假如n和m的比是常数,则时间复杂度仍旧是O(1).普通来说,要处理的数据越多,构造哈希表时分配的槽也应当越多,所以n和m成正比这个假定是成立的.

关联到IPVS,ip_vs_conn_tab_size 指的就是“槽”的数目. N 指的应当是全部的调度对象 struct ip_vs_conn 的数目.

肯定 ip_vs_conn_tab_bits 的最佳值:

假定你的 LVS 上每秒有 W 个“衔接”成立, 平均每个“衔接”将要保持 S 秒,即每个衔接工作 S 秒,最佳 ip_vs_conn_tab_bits 值应当满意 2 的 ip_vs_conn_tab_bits 次方接近 W*S.最佳的 ip_vs_conn_tab_bits = log(W*S,2).

还有一个简单的办法:

利用 slabtop 察看 ip_vs_conn 构造的数目（OBJS）,当然,应当是在系统流量最高的时刻获得这个值,对该值求以 2为底 的对数,log(OBJS,2).

获得ip_vs_conn OBJS的值:awk ‘/ip_vs_conn/{print $3}’  /proc/slabinfo

这个最佳值,以我理解,就是上面 “哈希表”构造阐明中提到的M值,而 OBJS 就是 N 值 ,当M接近 N的时刻,哈希表的复制度为O(1),为最佳状况.

使我不解的是,这里为什么不设置的更大一些,仅仅是浪费一些内存并且（一个条目用去8大概16个字节）.即便取最大值 20,在64位内核上,也才只占去16M的内存,在32位的内核上,占去8M内存.

IPVS的默许值是12,32位机用掉 32K,64位机用掉 64K内存.假定不是因为小内存简单利用CPU缓存,那么就一定是为了节俭内存,在服务器上,这样的战略,明显落后了.

问题的关键是查明 vmalloc() 函数的作用.

vmalloc() 函数的作用:

申请逻辑地址持续的内存,返回顾内存地址.

看来IPVS衔接哈希表的大小,与利用的内存（是高速缓存,还是普通内存）并没有影响.

调整 ip_vs_conn_tab_bits的办法:

新的IPVS代码,答应调整 ip_vs_conn_bits 的值.而老的IPVS代码则需求通太重新编译来调整.

在发行版里,IPVS普通是以模块的情势编译的.

确承认否调整利用号令 modinfo -p ip_vs（查看 ip_vs 模块的参数）,看有没有 conn_tab_bits 参数可用.假定可以用,那么说时可以调整,调整办法是加载时通过设置 conn_tab_bits参数:

在 /etc/modprobe.conf 增添下面一行

options ip_vs conn_tab_bits=20

假定没有 conn_tab_bits 参数可用,则需求重新调整编译选项,重新编译.

很不幸,即便将CentOS内核进级到最新版,也不支持这个参数,只能自定义编译了（没有编译成功,很忧郁）.

别的,假定IPVS支持调整 ip_vs_conn_tab_bits,而又将IPVS集成进了内核,那么只能通太重启,向内核传送参数来调整了.在指导程序的 kernel 相关的配置行上,增添:ip_vs.conn_tab_bits=20 ,然后,重启.

终究建意:

增大哈希表,调到 ip_vs_conn_tab_bits 到 20 .有一种说法是哈希表过大,会影响性能.但是按照我对哈希算法的理解,这种说法没有原理.

另一个有力的证据是,IPVS的作者也是这样配置的.

Network

增添LVS主机的网络吞吐本领,有利于提高LVS的处理速度和本领.

1. 利用更快的网卡,比方利用千兆、万兆的网卡.

2. 可以进一步将两块或多块网卡绑定（多块网卡的绑定有待考证）,bonding 时 mode=0 （balance-rr）大概 mode=4（802.3ad,需求交换机支持聚合端口）,miimon=80大概 miimon=100（毫秒）.

TCP/IP

/etc/sysctl.conf

net.core.netdev_max_backlog = 60000

Hardware

IPVS的运行,利用的服务器资源主如果 CPU、内存I/O、网络I/O;IPVS完好运行在内存中,并且运行在内核态.

当IPVS的利用在DR情势时,即不耗CPU,也不耗I/O,运行非常快,所以系统负载非常的低,跟据我的经验,普通负载老是0.所以 LVS 利用对服务器的配置要求非常低.认为 LVS 很重要,所以配置一个相当高端的服务器,实在是一种浪费.

其实我们可以做一下计算:

以64位系统为例,一个哈希表条目,16个字节,一个 ip_vs_conn 构造 192字节.以哈希表的冲突尽大概的少为场景（将 ip_vs_conn_tab_bits 设置为最大值 20 ）,那么:

pow(2,20)=1048576

pow(2,20)*(16+192)/1024/1024 = 208 M

就是说,当系统当前有100 万衔接的时刻,才用去内存 208 M,所以  IPVS 的主机,即便是1G的内存,也足以承载负载. 　　以上是“大流量、高负载LVS系统优化注意事项[Linux安全]”的内容，如果你对以上该文章内容感兴趣，你可以看看七道奇为您推荐以下文章：