[技术小组] 【分享】智能网络流量控制终结解决方案

  在Internet飞速发展的今天,点对点传输（P2P）与实时通讯（IM）已经成为上网的主要应用。一般人除了收发邮件、浏览网页外，越来越多人使用MSN/Skype等IM跟朋友沟通，以及使用KaZaA/BitTorrent/eMule/电驴/迅雷等P2P的应用。然而P2P耗损巨大带宽，在有多少带宽就用多少的情况下，使得内网带宽、外网链路都面临了严峻的挑战。外网带宽被占用，导致内网用户之间带宽分配不公平。对电信营运商与校园骨干网络的环境，同时解决内外网的带宽问题，尤其重要。

  传统的网络设备如交换机、路由器提供的流量管理功能一般都是附件功能模块，由于受限于硬件和软件算法，通常只能做到上下行限制，无法应对大流量的网络环境。防火墙主要是通过IP地址、TCP/UDP端口实现对网络访问的控制，而路由器和交换机通过IP包头、TCP包头等参数实现流量控制，而当前大量P2P软件通过跳跃端口、随机端口甚至是80端口进行数据传输，传统的网络设备对此无能为力。另外，对于大流量的网络环境，传统的网络设备无法做到有效的流量管理。

  而当前的专业流量管理设备主要基于第七层应用进行流量管理，虽然从一定程度上缓解了当前P2P流量管理问题，但是也带来了新的问题:互联网的应用及传输协议成千上万，不可能保证所有的应用都能正确识别;由于应用的不断增加及频繁变化，流量管理设备本身需不断更新识别库，且识别库的更新也很难保证快速及时。这样对于用户而言,进入了不断需要面对新的P2P应用的恶性循环。

  P2P目前数据传输方式日益复杂，通过协议加密等方式实现数据传输，对于基于应用的流量设备而言，控制难度日益加大。基于应用的流量管理是大部分流量管理设备的核心，通过流量分析，告诉用户什么应用是”好”的流量，什么应用是”不好”的流量，然后告诉用户通过流量管理策略将网络流量重新进行分配：提高”好”的应用的流量阀值或优先级，降低”不好”的应用的流量阀值或优先级。

  对于ISP而言，ISP并不关心每个用户使用什么应用，这是用户的自由。所有的应用识别都是准确无误的吗？P2P软件KaZZa在数据包中包含了二进制字符”KaZZa”，大部分流量管理设备通过这个字符识别KaZZa，如果用户下载一个WORD文档，该文档誓静重于KaZZa，很可能这个文档也被当作KaZZa流量。从技术的角度而言，当应用是通过加密或压缩，如何进行应用的识别？突然，所有制定的流量管理策略都失效了。

  最重要的是，基于应用的流量管理都是短期的管理，应用是变化的，网络本身是变化的，这使得网络管理员要不断的监测网络中各种应用的流量，不断的升级各种新的应用的协议特征码。今天制定的流量管理策略有效，当明天出现新的应用时，又需要重新制定流量管理策略。

  为彻底解决这一问题,宝界行为流控准入网关提出基于控制用户而不是控制用户使用何种应用的解决方案，因为应用是多种多样而且经常变化的,网络管理人员没有必要天天监测用户使用了哪些特别消耗带宽的应用,从而去限制这些应用,这种行为是短期的解决办法.宝界行为流控准入网关的分层式带宽管理策略，通过自动管理、平均分配带宽（EvenAllocation）等功能，将带宽平均或共享分配给每一个用户。并且能根据网络繁忙情况动态控制每个用户使用带宽，同时保证网络带宽的利用率时刻达到最高状态。

  想象您的网络是一个社会，而流量管理设备是警察。阻止犯罪最明显的方法就是抓住所有的罪犯，然而这种方法是错误的。这个社会有太多潜在的罪犯，警察抓住一个，会多出来两个，按照这种方法，就是不断的增加警察，不断的抓罪犯。

  正确的方式是创造出难以犯罪的环境，在网络环境中，如果流量很难被偷取，您不需要过多担心如何抓住偷取流量的应用。

真正的问题在于：如何保证流量难以偷取？还是回到以上的类比，通过建立一个良好的社会环境，保证好市民正常的工作学习生活，使得不好的市民很难或不可能做坏事，警察可以在治安不好的地方巡逻，在银行的自动取款机上配置摄像头。这个概念使用到流量管理中，就是通过建立针对整个网络环境的流量管理策略，您不需要知道每个用户使用什么应用，这并不重要，重要的是他们能够使用分配给他们的流量，不多也不少。

   在使用宝界行为流控准入网关流量管理设备之前，需要做两件事情。

   第一是承认一个事实：对于各种应用协议是如何工作的，您知道的比您想象的要少。很多情况下，您只是了解这些协议工作的表面现象，即使您对于某些应用协议有深入的了解，您仍然不知道在大型网络中的应用的数据交互是怎样的。没有人知道，因为无法模拟这种环境，它不停的在变化。

  第二是针对使用过流量管理设备的人们，如果您认为”定义优先带宽和保证带宽”或”虚拟带宽管理服务”就是流量管理，您需要重新考虑审视流量管理。因为这些概念是不同厂家根据自己的流量管理方法提出来的，通常情况下，只是在使用该产品的时候才有效。当您使用另外一个基于不同方法的流量管理设备，这些概念通常是失效的。

  有些用户在使用流量管理设备时没有制定策略，只是想避免某些网络行为占满整个带宽，这在短期内是有效的。但正如前面所指出，通过这种方式只能保证当时有效。想象一下：今天有个用户使用电驴，您屏蔽了它，今天的网络运行正常；但这个用户明天开始使用Web迅雷，导致带宽被大量占用，您又需要屏蔽Web迅雷，前提是您要升级协议特征码。您每天都在和用户战斗。

   当然，您可以使用其他方法，比如通过优先级定义带宽份额，比如决定网络浏览的带宽需要占整个带宽50%等，很不幸，这个框架是静态的，随着时间的变化，也许一周，也许几天，网络浏览的带宽需要使用79%，您又需要重新来过。

  如果我们换一个角度，控制用户而不是协议，会发生什么？如果每个用户都使用了不超过他（她）支付的带宽，您还会有问题吗？针对每用户的流量管理有这些益处：您可以很清楚的知道，在现有用户的情况下需要多少带宽，同样地，您可以给每个用户多少带宽。这也是其他大型网络设计的原则，比如电话系统，即您在任何时候有X用户，每个用户可以使用Y网络带宽。在网络流量管理中，这个原则稍有变化，因为通常情况下，在同一个时间点，总有部分用户不使用带宽或使用很少的带宽，这也是”动态流量管理”概念产生的原因，动态流量管理允许用户使用超过分配给他/她份额的带宽，前提条件是其他用户使用的带宽低于分配给他/她的份额，”动态流量管理”技术保证了带宽的使用效率。

   我们清楚了流量管理策略的原则，那么，如何定义流量管理的策略呢？    

  通常情况下，流量管理设备以透明桥接的方式连接在外线和三层交换机之间，用来改变或优化内部网络和互联网之间的数据流，这种数据流是双向的，即从内部网络流向互联网，以及从互联网流向内部网络。

如果流量管理设备未启动任何策略，数据流将尽快从内部网络流向互联网，反之亦然。

以下比较各种流量管理设备对数据流的处理方式。

  所有数据流都被放置在队列中，因为数据流从一端流向另外一端（比如内部网络从互联网上FTP下载）的速度不一样，总是一端比另外一端快，如果没有队列将出现丢包，这是队列最主要的功能。而队列对数据流的处理是基于先进先出的方式。

  CBQ是基于数据类别的队列方式，即在队列中建立数据类别，比如FTP、P2P等，队列中的数据根据这些类别自动分类，然后安装不同数据类别的优先级别或时间顺序进行处理，这样可以控制队列中的数据流，确保高优先级的数据流总是比低优先级的数据流要先处理。CBQ的好处是在于可以根据应用来控制数据流，比如重要的应用如Citrix、ERP、***等优先处理，而P2P等滞后处理，从而达到优化网络流量的目的；而CBQ的劣势也非常明显，就是在给数据流进行分类所带来的延时，同时只能控制出外的流量，对于大型网络如校园网或ISP等，控制成千上百个数据类别所带来的延时是无法接受的，特别是CBQ采用轮询的方式处理队列，当队列中的数据流越多，处理的效率就越低。因此，CBQ通常只适用于小型网络。

   除了CBQ外，有些流量管理设备使用公平队列（如Allot）或HTB，在CBQ上进行优化，但总的来说，对于大型网络，这些处理方式都不合适。

  Packeteer主要采用的技术是控制TCP速率，即通过改变TCP窗口和ACK回应包来调整数据流的速度（只对TCP流量有效），这种工作方式提高了整体处理的性能，但是该技术存在四个根本性的缺陷：

第一个是对于每个连接都需要有调整的时间，因为每个连接的初时TCP窗口通常情况下都比较高而每个连接的时间通常都比较低，而对于任何一个连接的调整都是不同的。对于大型网络如ISP，数据流每时每刻都是变化的，而对应于这么多个不同的TCP窗口的更改，效率是不高的。

  第二个是消耗的资源，使用TCP速率控制，对于每个TCP的连接都需要分部进行调整，也就是说：每个数据流都要监控，每个ACK包都需要延时，每个IP头都需要重建；这也即使为什么将TCP速率控制作为主要技术的网络管理设备的性能比较低的原因。另外，控制TCP窗口将导致网络中出现大量的小包（低于1500字节），而1500字节数据包是保证网络没有延时的最小数据包。

  第三个，也是最重要的，即控制TCP窗口并不代表控制每个用户，因为每个用户都可以建立多个实时的并发连接，比如一个用户可以在浏览器中打开多个页面，对每个页面产生的连接进行TCP窗口控制只能保证该用户建立的每个连接都受到控制，并不是该用户使用的带宽受到控制。而这种控制方式通常是不合适的，客户很多时候是要控制每个用户使用的带宽不能过多。

  第四个是TCP窗口控制对加密的数据流是没有效果的，因为TCP头都是隐藏的。这意味着对***、某些P2P流量是不能控制的。然而，这并不意外着TCP速率技术在流量管理中没有价值，相反，该技术可以从根本上减少网络的整体延时。请看如下例子：

  您有一条T1的外线和一台Web服务器，远程有两个用户同时请求Web服务器上的同一个页面，该页面包含了15,000字节的信息。标准TCP窗口是16K，页面不需要接受远程客户的ACK包就可以发送到远程客户。因此，当Web服务器接收到请求后，30,000字节的数据就发送到。安装T1的速度，每毫秒可以传输193个字节，也就是说需要155毫秒传输这些页面数据。在传输过程中，任何其他流量都需要等这些页面数据传输完后才可以处理，因此，您的网络在这个时候会有150毫秒的整体延时。

  如果您使用了基于TCP窗口的流量管理设备，将TCP窗口更改为3,000，Web服务器只发送6,000字节的数据给远程客户，只需要31毫秒就可以传输完成，这意味着您的网络在这个时候只有31毫秒的延时，比没有使用TCP窗口控制时的延时要少124毫秒。这也就是为什么说TCP窗口技术可以从根本上改善整个网络的延时情况，其他技术都只是将延时从一种流量转向到另外一种流量。

  宝界行为流控准入网关综合了上述两种技术，在这两种技术的基础上进行了优化并结合起来进行流量管理，共同创造并形成了一个平滑、均匀的流动速率，从而最大化吞吐率，并避免了网络的拥塞。