Linux 端口限流（tc + iptables）

关于 iptables

iptables 是包过滤软件，包过滤的顺序如下：

每一个包都会匹配 rule 策略，而每一个 rule 策略会有一个 action，触发了其中一个 rule 就不会触发另外一个 rule，但如果要触发的 rule 放在最后面，那么可以想象，包过滤的效率就会大大降低，所以设计策略的时候要尽量将常用的策略放在最前面，策略的顺序可以通过不断的调整 -A 和 -I 策略，甚至还有 return 的动作，设计 iptables 的人真的很厉害。

这是 iptables 内部的 table 表和 chain 链，可以理解为 iptables 是一个大网，table 就是小网，里面的 chain 就是他的网线，当数据包经过这个小网的时候必然会触碰这些网线，这样“看不顺眼”的数据包就会被拦住。鸟哥的图画的真好。这里需要理解的是数据包的流行会分 2 个地方，就是进入本机或者不进入本机，进入本机的包就会走 input 的 chain 链，不进入本机的包就会去 FORWARD，什么是进入或者不进入呢？

举个例子就是这是一台路由器服务器，服务器上面假设了 web 服务器，然后这个路由器负责的内部网络还有一台数据库服务器，不过这台服务器是独立于路由器的另外一台机器，不过上网也是要经过路由器，那么一个外网用户访问这个 web 服务器和访问数据库服务器的行为就是进入本机和不进入本机的行为，因为 web 服务器是跟路由器在同一台机器上的，所以要进入本机，因为数据库服务器是另外一台机器上的，所以不进入本机。解释得好渣，还是看鸟哥吧。鸟哥乃神人。回归主题，看下图的结构，可以看出如果我们要在 iptables 上操刀的话可以在任何表上操刀，例如可以在 PREROUTING，FORWARD,POSTROUTING 表上做限速是完全没有问题的，前提是要注意不能冲突，每个表都有各自的作用。所以一般来说，要写 iptables 策略的时候都要跟着这个图来笔画一下，这样才能知道有没有写错。

1.   filter (過濾器)：主要跟進入 Linux 本機的封包有關，這個是預設的 table 喔！
2.   INPUT：主要與想要進入我們 Linux 本機的封包有關；
3.   OUTPUT：主要與我們 Linux 本機所要送出的封包有關；
4.   FORWARD：這個咚咚與 Linux 本機比較沒有關係， 他可以『轉遞封包』到後端的電腦中，與下列 nat table 相關性較高。
5.    
6.   nat (位址轉換)：是 Network Address Translation 的縮寫， 這個表格主要在進行來源與目的之 IP 或 port 的轉換，與 Linux 本機較無關，主要與 Linux 主機後的區域網路內電腦較有相關。
7.   PREROUTING：在進行路由判斷之前所要進行的規則(DNAT/REDIRECT)
8.   POSTROUTING：在進行路由判斷之後所要進行的規則(SNAT/MASQUERADE)
9.   OUTPUT：與發送出去的封包有關
10.    
11.   mangle (破壞者)：這個表格主要是與特殊的封包的路由旗標有關， 早期僅有 PREROUTING 及 OUTPUT 鏈，不過從 kernel 2.4.18 之後加入了 INPUT 及 FORWARD 鏈。 由於這個表格與特殊旗標相關性較高，所以像咱們這種單純的環境當中，較少使用 mangle 這個表格。

• iptables 是主要工作在第三，四层的，即主要处理 ip、tcp，偶尔能够在第七层工作是因为打了 patch。

• 什么是数据包：其实就是只 ip 数据包和 tcp 数据包

  包(Packet)是 TCP/IP 协议通信传输中的数据单位，一般也称“数据包”。有人说，局域网中传输的不是“帧”(Frame)吗？没错，但是 TCP/IP 协议是工作在 OSI 模型第三层(网络层)、第四层(传输层)上的，而帧是工作在第二层(数据链路层)。上一层的内容由下一层的内容来传输，所以在局域网中，“包”是包含在“帧”里的。

举例来说 tcp 包的包头含有以下这些信息（等等）：

关于 tc

TC--Traffic Control

TC 是 linux 中的流量控制模块，利用队列规定建立起数据包队列，并定义了队列中数据包的发送方式，从而实现对流量的控制。关键字：队列系统，包接收和传输。

Traffic control is the name given to the sets of queuing systems and mechanisms by which packets are received and transmitted on a router. This includes deciding which (and whether) packets to accept at what rate on the input of an interface and determining which packets to transmit in what order at what rate on the output of an interface.

这里是官方翻译：http://my.oschina.net/guol/blog/82453?p=1
原版：http://www.tldp.org/HOWTO/Traffic-Control-HOWTO/

tc工作位置图：

在我使用的过程中，对于他的理解是有一些加深了：

1. tc 就是看门的，like as a dog，所以这就可以解释了为什么要 iptables + tc 了，tc 能够和 iptables 合作，因为可以从图上看到各自工作的位置是不一样的，各施其职。
2. tc 对于包一视同仁，专门负责包的排队分发，官方里面提到一个很经典的说法就是他是一个接收和传输的队列系统，tc 翻译为交通管制是很巧妙的，有鉴于此，我认为他的限速效果最好，无论你是 p2p 包还是什么加密包，只要是包就要受到约束，这样就可以避免了那些日新月异的封装加密之类的包被逃掉了。

3. tc 主要是以 mark 的形式来匹配，所以使用的时候 mark 标记需要注意不要冲突，mark 标记是 iptables 里面提到的一个东西:

   6.5.5. MARK target

   用来设置 mark 值，这个值只能在本地的 mangle 表里使用，不能用在其他任何地方，就更不用说路由器或 另一台机子了。因为 mark 比较特殊，它不是包本身的一部分，而是在包穿越计算机的过程中由内核分配的和它相关联的一个字段。它可以和本地的高级路由功能联用，以使不同的包能使用不同的队列要求，等等。如 果你想在传输过程中也有这种功能，还是用 TOS target 吧。有关高级路由的更多信息，可以查看 Linux Advanced Routing and Traffic Control HOW-TO。

   mark 只能存在于内核之中，不受三界法则影响，所以 mark 值我觉得是配置 tc 的特别需要注意的地方，尤其是如果你使用了 wifidog 之类的要玩 mark 的时候。

4. tc 的类是树架构，有主干和叶这样很分明的区分的，这种层次是很容易理解的，不过文档的解释是相当的难理解，难理解的是怎么做，命令写法简直坑爹。

5. 涉及很多相当高深的队列算法，流控制模式其实略懂就行了，诸葛先生不也就略懂么。所以不是那种极端情况其实无须特别考虑这个。
6. 对于 tc 来说，上传和下载行为是这样区分的，上传，就是用户端发送数据包给服务器，假设路由器是双网卡，所以负责发送数据包给服务器的是外网网卡，所以限制上传速度在外网网卡处， 下载，就是服务器发送数据包给用户，因为路由器是双网卡的关系，所以负责发送数据包给用户的是内网网卡，所以限制下载速度是在内网网卡，因为 tc 是一个能够负责接收数据包的工具，所以限制上传速度其实就是限制外网网卡接收用户发送的数据包的速度，而限制下载速度其实就是限制内网网卡接收到要发送给用户的数据包的速度。

测试流程介绍

1. 首先需要建立 tc 策略
2. 然后由 iptables 来进行调用，主要通过 set mark，根据不同的 mark 标记来进行不同的 tc 策略调用

备注

1. 测试环境是 eth0 负责外网，p3p1 是负责内网
2. 考虑到特殊需求，tc 限制的是所有的包，所以需要 iptables 将发到内网服务器的包分开处理，以便实现访问外网能够限制网速，访问内网没有限制

上传

清除 eth0 所有队列规则

tc qdisc del dev eth0 root 2>/dev/null

定义最顶层(根)队列规则，并指定 default 类别编号，为网络接口 eth1 绑定一个队列，类型为 htb，并指定了一个 handle 句柄 1:0 用于标识它下面的子类，没有标识的会被分配到默认子类 123（默认值只是设置而已，可以不用）

tc qdisc add dev eth0 root handle 1:0 htb default 123

用于为队列建一个主干类，带宽为 100 Mbit，最大速率为 100 Mbit，（这里是 bit，所以实际速度需要除以 8）优先级为 0，htb 的主干类不能互相借用带宽，但是一个父类的所有子类之间可以借用带宽，这里 parent 1:0 是刚才建立的 handle1:0 ，classid 是他的子类，分类号为 1:1，冒号前面是父类号，后面是子类号

tc class add dev eth0 parent 1:0 classid 1:1 htb rate 100Mbit ceil 100Mbit prio 0

为主干类建立第一个叶分类，带宽为 10Mbit，最大速为 10 Mbit，优先级为1，所有叶分类的全部子类优先级低于主干类，以防止重要数据堵塞，主要还是避免逻辑混乱，10 Mbit 必须要有 96 kbit 的 burst 速度

tc class add dev eth0 parent 1:1 classid 1:11 htb rate 10Mbit ceil 10Mbit prio 1 burst 96kbit

设置调度，sfq 随机公平算法，这里的 parent 是指隶属于之前的子分类，你需要对哪一个子分类的条目做队列分配控制就需要在这里写对应的子分类 id 在每个类下面再附加上另一个队列规定,随机公平队列(SFQ)，不被某个连接不停占用带宽,以保证带宽的平均公平使用：

1.   #SFQ(Stochastic Fairness Queueing，随机公平队列),SFQ的关键词是“会话”(或称作“流”) ，
2.   #主要针对一个TCP会话或者UDP流。流量被分成相当多数量的FIFO队列中，每个队列对应一个会话。
3.   #数据按照简单轮转的方式发送, 每个会话都按顺序得到发送机会。这种方式非常公平，保证了每一
4.   #个会话都不会没其它会话所淹没。SFQ之所以被称为“随机”，是因为它并不是真的为每一个会话创建
5.   #一个队列，而是使用一个散列算法，把所有的会话映射到有限的几个队列中去。
6.   #参数perturb是多少秒后重新配置一次散列算法。默认为10

tc qdisc add dev eth0 parent 1:11 handle 111:0 sfq perturb 10

设置过滤器 filter，对应之前配置的哪一个父类和子类，然后设置控制编号 handle，这里是跟 iptables 的 mark 相对应的，并且多个不同的filter注意 prio 不要相同。

tc filter add dev eth0 parent 1:0 protocol ip prio 1 handle 1001 fw classid 1:11

设置 iptables规则，在 mangle 表的 postroutingchain 上配置，源地址是 172.16.1.138 并且目标地址不是 192.168.0.10,从网卡eth0发出的包进行 mark，mark 号是 1001

iptables -t mangle -A POSTROUTING -s 172.16.1.138/32 ! -d 192.168.0.10 -o eth0 -j MARK --set-xmark 1001

设置 return 是为了加快包检查，return 的顺序是：子链——>父链——>缺省的策略，检查到源地址是 172.16.1.138 并且目标地址不是 192.168.0.10 的包就会跳到 postrouting 层，然后会继续检查其他这层的 chain，这样不用每个包都要检查一次这条 chain 的内容了，加快了一倍的速度

iptables -t mangle -A POSTROUTING -o eth0 -s 172.16.1.138 ! -d 192.168.0.10 -j RETURN

下载

1.   tc qdisc del dev p3p1 root 2>/dev/null
2.    
3.   tc qdisc add dev p3p1 root handle 1:0 htb default 123
4.    
5.   tc class add dev p3p1 parent 1:0 classid 1:1 htb rate 100Mbit ceil 100Mbit prio 0
6.    
7.   tc class add dev p3p1 parent 1:1 classid 1:11 htb rate 10Mbit ceil 10Mbit prio 1
8.    
9.   tc qdisc add dev p3p1 parent 1:11 handle 111:0 sfq perturb 10
10.    
11.   tc filter add dev p3p1 parent 1:0 protocol ip prio 1 handle 1000 fw classid 1:11

这里用 I 的是 insert 一条配置，这样排序会放在前面，因为 iptables 是按顺序匹配的，并且为了跟 wifidog 的策略避免冲突

1.   iptables -t mangle -I POSTROUTING -o p3p1 -d 172.16.1.138 ! -s 192.168.0.10 -j MARK --set-mark 1000
2.   iptables -t mangle -I POSTROUTING -o p3p1 -d 172.16.1.138 ! -s 192.168.0.10 -j RETURN

================

htb基础知识：Linux Htb队列规定指南中文版：http://wenku.baidu.com/view/64da046825c52cc58bd6beac.html

TC基础知识： Linux 的高级路由和流量控制LARTC
http://download.csdn.net/detail/wuwentao2000/3963140

iptables基础知识： 中文howto：http://man.chinaunix.net/network/iptables-tutorial-cn-1.1.19.html

来源一：http://www.right.com.cn/forum/viewthread.php?tid=71981&highlight=QOS

#现在开始用TC建立数据的上行和下行通道
TCA="tc class add dev br0"
TFA="tc filter add dev br0"
tc qdisc del dev br0 root
tc qdisc add dev br0 root handle 1: htb
tc class add dev br0 parent 1: classid 1:1 htb rate 1600kbit            #这个1600是下行总速度
$TCA parent 1:1 classid 1:10 htb rate 200kbit ceil 400kbit prio 2     #这个是10号通道的下行速度,最小200,最大400,优先级为2
$TCA parent 1:1 classid 1:25 htb rate 1000kbit ceil 1600kbit prio 1   #这是我自己使用的特殊25号通道,下行速度最小1000,最大1600,优先级为1, 呵呵,待遇就是不一样
$TFA parent 1:0 prio 2 protocol ip handle 10 fw flowid 1:10             
$TFA parent 1:0 prio 1 protocol ip handle 25 fw flowid 1:25
tc qdisc add dev br0 ingress
$TFA parent ffff: protocol ip handle 35 fw police rate 800kbit mtu 12k burst 10k drop      #这是我自己使用的35号上行通道,最大速度800
$TFA parent ffff: protocol ip handle 50 fw police rate 80kbit mtu 12k burst 10k drop         #这是给大伙使用的50号上行通道,最大速度80




#好了,现在用iptables来觉得哪些人走哪些通道吧,哈哈,由于dd wrt的iptables不支持ip range,所以只能每个IP写一条语句,否则命令无效


iptables -t mangle -A POSTROUTING -d 192.168.1.22 -j MARK --set-mark 10     #ip为192.168.1.22的走10号通道
iptables -t mangle -A POSTROUTING -d 192.168.1.22 -j RETURN                        #给每条规则加入RETURN,这样效率会更高.
iptables -t mangle -A POSTROUTING -d 192.168.1.23 -j MARK --set-mark 25      #ip为192.168.1.23的走25号特殊通道,23是我的ip,所以特殊点
iptables -t mangle -A POSTROUTING -d 192.168.1.23 -j RETURN                        #给每条规则加入RETURN,这样效率会更高.


iptables -t mangle -A PREROUTING -s 192.168.1.22 -j MARK --set-mark 50         #ip为22的走50号上行通道
iptables -t mangle -A PREROUTING -s 192.168.1.22 -j RETURN                        #给每条规则加入RETURN,这样效率会更高.
iptables -t mangle -A PREROUTING -s 192.168.1.23 -j MARK --set-mark 35        #ip为23的走35号上行通道,我自己的IP.呵呵
iptables -t mangle -A PREROUTING -s 192.168.1.23 -j RETURN                        #给每条规则加入RETURN,这样效率会更高.


#其他的我就不写了,大家自己换IP吧,想让谁走哪个通道,就把IP改了执行,现在发发慈悲,让大家开网页的时候走我使用25和35号通道吧,当然你也可以不发慈悲
iptables -t mangle -A PREROUTING -p tcp -m tcp --dport 80 -j MARK --set-mark 35    #http的端口号80,所以dport是80,这是发起http请求的时候
iptables -t mangle -A PREROUTING -p tcp -m tcp --dport 80 -j RETURN
iptables -t mangle -A POSTROUTING -p tcp -m tcp --sport 80 -j MARK --set-mark 25   #http的端口号80,所以sport是80,这是http响应回来的时候
iptables -t mangle -A POSTROUTING -p tcp -m tcp --sport 80 -j RETURN

-------------------------

现在来看看如何限制TCP和UDP的连接数吧,很NB的(不知道标准版本和简化版是否支持,一下语句不保证可用,因个人路由器环境而定):
iptables -I FORWARD -p tcp -m connlimit --connlimit-above 100 -j DROP           #看到了吧,在FORWARD转发链的时候,所有tcp连接大于100 的数据包就丢弃!是针对所有IP的限制
iptables -I FORWARD -p udp -m limit --limit 5/sec -j DROP   #UDP是无法控制连接数的, 只能控制每秒多少个UDP包, 这里设置为每秒5个,5个已经不少了,10个就算很高了,这个是封杀P2P的利器,一般设置为每秒3~5个比较合理.
如何查看命令是否生效呢?:
执行  iptables -L FORWARD 就可以看到如下结果:
DROP       tcp  --  anywhere             anywhere            #conn/32 > 100 
DROP       udp  --  anywhere             anywhere            limit: avg 5/sec bu
如果出现了这2个结果,说明限制连接数的语句确实生效了, 如果没有这2个出现,则说明你的dd-wrt不支持connlimit限制连接数模块.


现在我想给自己开个后门,不受连接数的限制该怎么做呢?看下面的:
iptables -I FORWARD -s 192.168.1.23 -j RETURN          #意思是向iptables的FORWARD链的最头插入这个规则,这个规则现在成为第一个规则了,23是我的IP,就是说,只要是我的IP的就不在执行下面的连接数限制的规则语句了,利用了iptables链的执行顺序规则,我的IP被例外了.


告诉大家一个查看所有人的连接数的语句:
sed -n 's%.* src=192.168.[0−9.]∗">192.168.[0?9.]?192.168.[0?9.]? .*%\1%p' /proc/net/ip_conntrack | sort | uniq -c    #执行这个就可以看到所有IP当前所占用的连接数


对于上面的脚本,有一些比较疑惑人的地方,现在来讲讲:
br0 : 这个是一个dd wrt的网桥, 这个网桥桥接了无线和有线的接口, 所以在这上面卡流量,就相当于卡了所有无线和有线的用户.具体信息可以输入ifconfig命令进行查看.
规则链顺序问题 : 在br0上iptables规则链的顺序是比较奇怪的, 正常的顺序 入站的数据包先过 PERROUTING链, 出站数据包先过POSTROUTING链,但是 dd wrt的br0网桥顺序与正常的顺序正好相反!
在ddwrt上入站的数据包被当成出站的,出站的数据包被当成入站的,所以上面的脚本会那么写.


不会不知道在哪里敲命令吧?
登陆ddwrt的web管理界面 ,管理里面, 开启SSH
用SSH CLIENT ,这里下载 : http://www.onlinedown.net/soft/20089.htm 
输入路由器IP,用户密码,登陆,开始敲吧.


重要提醒: 大家要用ue这样的编辑器来写脚本,这样的编辑器才支持unix格式,windows下的记事本是不行的,因为这2个系统的换行符不一样,unix/linux下不认

-----------------------

来源二：http://www.right.com.cn/forum/thread-53500-1-1.html

很多人说OP的QOS不好用，开始我也是这么觉得的 。开了BT   PPS 之类的根本没法干别的 ，游戏就更别提了。


但是很多人像我一样， 有脱机下载或者NAS下载之类的，也或者想最大效率利用带宽，同时游戏，上网，看视频，开BT，迅雷。为了完成这个想法，经过一段时间的努力，查阅了N多的QOS资料，目标基本实现了。兴奋之余，把大致的实现方法介绍给大家，动手能力强的可以作为参考。要完成自定义QOS，需要先把tc，iptable, htb算法, opendpi , xt_recent 这些都搞清楚，起码基本的命令都会用。否则就看看热闹好了。
命令很多人都懂，我就主要讲下思路。tc的流量控制很准确，前提是要对tc,htb有足够的了解。htb的分类主要以openwrt原版qos为基础，上传增加一个第五类。iptables的设置，也是以openwrt的原版为基础，将l7-filter换成opendpi作七层识别，并作了一些小改动来符合我的需求。


                           上传
                            1:  root htb 
                             |
                            1:1
            /          /            \
        1:10      1:20        1:3
                                /              \            \
                            1:30            1:40      1:50


tc qdisc add dev eth1 root handle 1: htb default 40
tc class add dev eth1 parent 1: classid 1:1 htb rate 58kbps ceil 58kbps  burst 5k cburst 5k
tc class add dev eth1 parent 1:1 classid 1:10 htb rate 10kbps ceil 58kbps  prio 1
tc class add dev eth1 parent 1:1 classid 1:20 htb rate 15kbps ceil 58kbps  prio 2
tc class add dev eth1 parent 1:1 classid 1:3 htb rate 15kbps ceil 45kbps
tc class add dev eth1 parent 1:3 classid 1:30 htb rate 10kbps ceil 45kbps  prio 3 burst 2k cburst 2k
tc class add dev eth1 parent 1:3 classid 1:40 htb rate 5kbps ceil 45kbps  prio 4 
tc class add dev eth1 parent 1:3 classid 1:50 htb rate 5kbps ceil 45kbps  prio 5 




这是上传500kbit带宽的分类情况， 1：10是游戏， 1：20是dns, tcp  syn,tcp ack ，ssh，QQ语音之类的，  1：30是网页、vpn、代理、rdp，1：40是BT，迅雷，PPS和其他未分类，包大小小于300的流量，1：50是BT，迅雷，PPS和未分类，包大小大于300的流量。


下载也作了tc和iptable的配置，不过相对来说没那么重要，就不帖了。主要思路跟上传差不多，没用imq而是用了ifb模块，也就是上传和下载都在同一个interface（即出口）上整形。好像ifb是在iptable之前，具体有空测试一下，所以iptable对下行来说也不重要了，但对于七层识别还是有点用，所以也加上了，openwrt的原版QOS在iptable中是不对下行作mark的。


按这个速率设定来用的话，开下载的同时，游戏的延迟是可以保证的。当然最重要的是在iptable 上把流量用mark分好类，我的分类是按端口和七层识别同时用，比如22，80，53都可以按端口来设，虽然有些应用也会用这些端口，但一般没多大影响。除非有特意改端口的，有影响了，那可以都用七层识别来做。opendpi在七层识别方面还是不错的，openwrt的开发者在几个月前已经开始计划用opendpi换掉l7-filter，不知道最近进展如何。不过我们可以自己编译到openwrt里。


另外，很多QOS的设定都会推荐限制连接数，我没有做方面的限制，至少在我这里没有什么问题。测试3M下行，500k上行的时候迅雷开了3个种子，基本满速，上行还有富余，游戏延迟没问题，QQ语音同时连3个人流畅。 测试20M下行，1M上行的时候，迅雷开20个种子，下行不满速，上行已经满了，迅雷上传显示0，游戏延迟没问题，QQ语音同时连3个人流畅。


因为我玩DOTA经常上浩方，所以自己分析了浩方的数据包特征，CS，WAR3都能匹配，最近去11平台玩DOTA，也分析了下，可以匹配了。opendpi对PPS支持很好，QQ需要修改匹配方法。迅雷和风行这种，只是部分能有些特征包，已经足够了，可以配合recent来mark，要改recent模块。


本来想贴几个图，想想没什么意义。如果有人感兴趣，可以联系我，帮忙写个脚本。


最后贴下iptable的统计信息。其中war3的匹配都在下行里，这里看不到，帖子长度的问题，就不贴了。


上行：


Chain Default (2 references)
    pkts      bytes target     prot opt in     out     source               destination         
41447462 17211275535 CONNMARK   all  --  *      *       0.0.0.0/0            0.0.0.0/0           CONNMARK restore 
11384650 1499982652 Default_ct  all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 
      34    23446 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x1 length 400:65535 MARK and 0x0 
   24641 20134127 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x2 length 800:65535 MARK and 0x0 
   37746  5394916 MARK       icmp --  *      *       0.0.0.0/0            0.0.0.0/0           MARK set 0x1 
2077725 101041304 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           length 0:128 mark match !0x4 tcp flags:0x3F/0x02 MARK set 0x2 
1418481 59188992 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           length 0:128 mark match !0x4 tcp flags:0x3F/0x10 MARK set 0x2 
6699462 697530975 MARK       udp  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 length 0:65535 MARK set 0x4 
  896620 621880446 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 length 0:65535 MARK set 0x4 
2822843 3713061114 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x4 length 300:65535 MARK set 0x5 


Chain Default_ct (1 references)
    pkts      bytes target     prot opt in     out     source               destination         
     379    18200 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 tcp multiport ports 22,53 MARK set 0x2 
   27432  1704319 MARK       udp  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 udp multiport ports 22,53 MARK set 0x2 
  144061  7137731 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 tcp multiport ports 20,21,25,80,110,443,993,995,5190,3389,3390,5900,1080,1194 MARK set 0x3 
     364    23960 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol HF MARK set 0x1 
       1       45 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol COUNTERSTRIKE MARK set 0x1 
       0        0 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol WARCRAFT3 MARK set 0x1 
     966    51955 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol PT11 MARK set 0x1 
     174    31318 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol QQ MARK set 0x2 
     727   256830 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol HTTP MARK set 0x3 
     753   102156 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol PPStream MARK set 0x4 
       0        0 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol PPLive MARK set 0x4 
  683701 50272737 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol Bittorrent MARK set 0x4 
    4534   268934 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 protocol Thunder/Webthunder MARK set 0x8 
  103919  7200135 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x0 recent: UPDATE seconds: 60 name: DEFAULT side:source port MARK set 0x4 
    4534   268934 MARK       all  --  *      *       0.0.0.0/0            0.0.0.0/0           mark match 0x8 recent: SET name: DEFAULT side:source port MARK set 0x4 
11384650 1499982652 CONNMARK   all  --  *      *       0.0.0.0/0            0.0.0.0/0           CONNMARK save
在Openwrt上自定义QOS

来源3：HTB HOME:http://luxik.cdi.cz/~devik/qos/htb/

1. Introduction

2. Link sharing

3. Sharing hierarchy

4. Rate ceiling

5. Burst

6. Priorizing bandwidth share

7. Understanding statistics

8. Making, debugging and sending error reports

IPTABLES)

在Linux中，流量控制都是通过TC这个工具来完成的，但是如果对端口限流需要使用IPTABLES对端口绑定TC队列。通常， 要对网卡端口进行流量控制的配置，需要进行如下的步骤:

• 为网卡配置一个队列;
• 在该队列上建立分类;
• 根据需要建立子队列和子分类;
• 为每个分类建立过滤器；
• 使用iptables对端口绑定tc队列。

接下来具体为80，22端口设置限流：

Linux tc QOS 详解
Linux上的TC流量控制几个例子（80端口流量限制）

==============

网上关于openwrt的tc限速描述有很多，目前主流用的是IMQ和ifb，其中IMQ的设置比较复杂,ifb的描述相当于简单点，下面我简单总结下ifb的使用，

TC的大概流程如下，具体每条命令的作用我就不做详细介绍，大家可以百度

 tc qdisc add dev eth0 ingress
 tc filter add dev br-eth0 parent ffff: protocol ip u32 match u32 0 0 action mirred egress redirect dev ifb0
 tc qdisc add dev ifb0 root handle 1: htb default 1000
 tc class add dev ifb0 parent 1: classid 1:1 htb rate 2000kbit ceil 2000kbit   #限速2M

tc class add dev ifb0 parent 1:1 classid 1:1000 htb rate 1kbit ceil 8000kbit prio 3
 tc qdisc add dev ifb0 parent 1:1000 handle 1000: sfq perturb 10

 tc class add dev ifb0 parent 1:1 classid 1:8 htb rate 1000kbit ceil 2000kbit prio 1
 tc qdisc add dev ifb0 parent 1:8 handle 8: sfq perturb 10
 tc filter add dev ifb0 parent 1:0 prio 1 protocol ip handle 8 fw flowid 1:8

 iptables -t mangle -A PREROUTING -p udp -j MARK --set-mark 8
 iptables -t mangle -A PREROUTING  -p udp -j RETURN

上述的使用的netfilter和tc相结合，通过fw，是的mark打入skb中，下面重点来了，

我发现在不同设备上，出现下面问题，百度了一下，居然老外也遇到过（be aware that if you use iptable to mark your packet and then filters them, you can't use ifb since all ingress trafic will be forwarded BEFORE any marking. so you will se your class stay at 0 and all forwarded to the default. IMQ seem the rigth solution for iptables users.）

为了解决这个问题，查了很多资料，终于get到了，在iptables中使用connmark这个参数进行mark的标记，从而使得skb头里也能成功打上mark

使用netfilter的原因是因为涉及到ipset 地址集，以及域名。

tc也提供了另外一种方法，下面方法比较简单了，也可以涉及到多地址，但可能比较繁琐点（至少我认为没有IPtables简便）

#tc qdisc add dev imq0 root handle 1: htb default 20
#tc class add dev imq0 parent 1: classid 1:1 htb rate 2mbit burst 15k
#tc class add dev imq0 parent 1:1 classid 1:10 htb rate 1mbit
#tc class add dev imq0 parent 1:1 classid 1:20 htb rate 1mbit
#tc qdisc add dev imq0 parent 1:10 handle 10: pfifo
#tc qdisc add dev imq0 parent 1:20 handle 20: sfq
#tc filter add dev imq0 parent 10:0 protocol ip prio 1 u32 match ip dst 10.0.0.230/32 flowid 1:10

这里其实也可以对protol协议进行限制，以及端口范围

协议”

tc filter add dev ifb0 parent 1: protocol ip prio 2 u32 match ip protocol 1 0xff flowid 1:8

1 0xff是icmp 协议，这里1 代表icmp，你可以在/etc/protocols查看每个协议具体是什么

关于端口范围

tc filter add dev eth2 protocol ip parent 1: prio 2 u32 match ip sport 22 0xffff flowid 1:12
0xffB2-0xffff的数值，表示从起始端口开始后多少。

==================== End