运营商级DDoS安全防护系统建设实践

冯晓冬，田龙平，马  晋，刘长波，田金英

（天翼安全科技有限公司，北京  100010）

摘要：得益于国家主管部门的监管和专项治理，分布式拒绝服务DDoS攻击总量逐年持续快速增长的势头在一定程度上被扼制。尽管如此，DDoS攻击事件呈现出组织化、规模化、商业化的明显特征，严重影响互联网业务的可用性和广大用户的感知。回顾了历年DDoS攻击基本态势，重点介绍了基于云网协同的抗DDoS分布式网络安全防护系统的整体方案和实践效果，并探讨展望了持续演进的若干技术方向。

关键词：DDoS；近源清洗；云网协同

0  引言

分布式拒绝攻击（DDoS，Distributed Denial of Service），是一种常见的破坏性大而又难以防范的网络攻击方式。通常，DDoS攻击利用分布在网络中的大量受控主机发起请求，导致指定目标无法提供正常服务[1]。分布式拒绝服务攻击DDoS事件频发，攻击规模和趋势成倍增长，势必严重影响互联网业务的可用性和广大用户的感知。

作为国内规模最大、活跃用户数最多的互联网络，中国电信公众互联网络ChinaNet面向广大人民群众提供安全可靠的日常网络服务。中国电信集团从2006年开始针对ChinaNet的DDoS攻击开展监控和防护工作。特别的，得益于国家主管部门的监管和专项治理，近年来DDoS攻击总流量快速增长的势头在一定程度上被有效扼制[2]。自2019年起，我们所监控到的DDoS攻击次数和总量都有所下降。以2021年上半年为例，DDoS攻击总流量196 607 TB，攻击次数达到6.69万次。与去年同期相比，分别下降了9.90%和25.17%。另一方面，DDoS攻击持续向组织化、规模化、商业化的方向演进，其整体攻击态势呈现出攻击量级普遍提升、更具有针对性等特性。不同于以往攻击峰值向1-5 Gb/s单侧分化，最新监控数据显示：在大流量攻击次数持续增加的同时，DDoS的攻击峰值分布越来越集中在20-50 Gb/s区间内。2021年上半年的平均攻击峰值接近50 Gb/s，较2016年增加了一倍多。

因此，在DDoS攻防持续对抗和升级的背景下，如何充分保障互联网络的安全稳定，助力经济持续稳定的增长，是摆在中国电信面前的重要课题。

1  现行方案

1.1 分布式DDoS攻击防护方案

ChinaNet是由骨干网和城域网组成的两层架构。其中，骨干网负责流量转发，客户跨区域的访问需要通过骨干网进行中转；城域网负责流量接入和汇聚，负责将客户跨区的访问通过城域网设备进行汇聚后再发送给骨干网。一般来说，客户需要两次穿越城域网和骨干网，最终形成完整的访问行为。

依据ChinaNet的网络基本架构和网络资源优势，本文提出了一种面向全网的分布式DDoS防护方案，包括近源清洗、近目的清洗、流量压制等多种技术方法。如图1所示，防护架构在ChinaNet骨干网互联互通路由器、国际边缘路由器上分别部署压制策略，并通过BGP协议实现秒级的分方向压制，达到阻断国内运营商攻击流量、国际侧攻击流量甚至全网攻击流量的防护目的。同时，通过全局重构主要IDC/城域网的压制能力，支持任选颗粒度的精细城域网压制方向自由组合，实现了以全网视角来实施部署云网协同的分布式近源网络安全防护能力。

图1 云网协同的分布式近源网络安全防护方案

1.2 主要功能

1.2.1 近源清洗

流量清洗是针对DDoS攻击的常用安全手段。一般来说，流量清洗过程可分为三步：牵引、清洗和回注[3]。在保证正常业务可用的情况下，流量首先被送至DDoS清洗中心，区分出正常流量和异常流量，最后将正常流量送回给客户。可见，流量清洗的各环节都可能引发的时延，影响客户业务的连续性，进而降低用户感知。

近源清洗方法是指在靠近攻击源的位置对流量进行清洗操作。基于运营商骨干网络资源和网络调度能力的优势，以全局视角智能调度流量、并协同使用分布在全网各地的清洗设备，实现在几乎不增加时延的前提下完成近攻击源的流量清洗。对于越大规模的攻击防御效果越明显，设备复用程度较高，成本优势明显。

较之其他清洗方案，近源清洗方案优势显著。互联网企业的云清洗方案通常都依赖DNS调度，本质上是一种代理模式，存在企业信息泄漏的风险。而自建清洗中心往往会受限网络带宽限制、建设成本、专业操作人员等因素，需要客户准备极大的流量带宽，且清洗能力难以复用。

1.2.2 近目的清洗

近目的清洗是指传统靠近业务主机位置部署DDoS流量清洗设备，通常部署在城域网或IDC等靠近客户业务主机位置。任何的攻击防御都存在一定的漏过率。在分布式的近源清洗过程中，流量被分担到各个清洗节点，相当于各防御阈值被提高了，攻击流量的漏过情况会被放大，如果客户自有计算能力较弱，可能仍会对其造成一定影响。因此，在应对部分难以避免漏过问题的攻击时，近目的清洗作为近源清洗的二次防护辅助手段配合使用。

特别是应对UDP类或应用层的攻击时，攻击防御难度较大，容易发生漏过情况。多个节点的漏过攻击流量汇聚后极有可能依然会造成一定业务影响。因此，通过对近源清洗流量汇聚后再进行近目的清洗，这样可最大程度保证回注流量的清洁程度。

1.2.3 流量压制

流量压制通过在网络设备上配置黑洞策略，实现对某部分网络流量进行抛弃操作。Null0是路由系统保留的逻辑接口，发送到该接口的流量会被直接丢弃，不再转发[4]。因此，利用这一路由器的特性，可在非常小的系统负载影响下，快速实现流量抛弃操作。例如，国内大部分互联网企业服务客户为国内客户，而DDoS攻击流量中源自境外流量通常占比较高，尤其是反射式攻击，随着近年对境内反射式攻击源的各类治理，绝大部分反射式攻击90%流量源自境外，若在攻击过程中将境外流量丢弃，可在保证客户业务流量前提下，最大程度抛弃攻击流量。同时，对于大部分互联网业务服务对象为普通客户，通常位于城域网内，若在攻击过程中将原本无需访问的IDC流量屏蔽，可进一步缓解攻击影响。

由于实现原理相对简单，流量压制的响应速度通常可达到秒级，甚至可做到秒内，这对需要快速响应的攻击防御效果明显，对于超大型流量攻击也可以作为流量清洗的辅助手段。但是这种方法存在缺点，它并不区分流量的类别，在丢弃处置攻击流量的同时，正常流量也被丢弃，客户业务将会受到中断。

2  现网实践和效果

结合多年来积累的网络安全防护经验，我们分阶段、有步骤地在现网部署实施上述的分布式DDoS攻击防护方案，并将相应的能力封装成中国电信云堤产品。

目前，系统已经覆盖了全部的骨干网和上百个城域网和IDC节点。清洗设备的能力超过10T级，形成了一套具备全网资源统一调度能力的两级防护架构。系统实现了我国骨干网络安全能力的云化部署，标准封装及对外开放，包括了流量检测、流量控制、流量清洗、路由安全等关键技术能力，不仅实现了对网络侧流量的快速响应和处理能力，而且应对不同安全场景和客户需求，提供了自助式高效服务。

自2015年落地实施以来，云堤抗D产品收到了良好的社会效益和经济效益。产品已覆盖政府、金融、教育等十余个行业，有效促进了中国电信宽带业务和用户规模发展，增强了用户黏性。在社会效益方面，为APEC峰会、抗战胜利70周年阅兵、G20杭州峰会、十九大、一带一路峰会等历次党和国家重大活动提供了网络安全保障，多次受到国家各级政府部门、行业主管部门以及相关重要机构和重点保障对象的表彰和感谢。在经济效益方面，本项目成果推出上线以来，已签约政企专线、IDC客户数千家，2015年至2020年为企业直接创造业务收入累计超25亿元，并带动传统专线等间接业务收入超60亿元。

3  DDoS防护方案的持续演进

3.1 BGP Flow Spec

Flow Spec技术（Flow Specification）产生于2009年，定义了BGP路由中的五元组、三层报文长度，DSCP优先级和分片报文在内的多种属性，支持对这些属性的灵活集中配置和管理匹配规则，以及限速、重定向、丢弃、重定义和重标记DSCP优先级等多种流量执行动作。因此，Flow Spec技术可实现在多种场景下对流量的细粒度控制和处理[5-6]。

Flow Spec的运行机制可分为创建激活和发布更新两部分。第一步：创建并激活路由，指在Flow Spec控制器上创建激活包括具体匹配规则和流量执行动作的路由信息；第二步：发布路由，利用BGP路由更新报文向Flow Spec边界路由器发布信息，继而Flow Spec路由在转发平面上生效，达到快速动态操作Flow的效果。这样，当符合匹配规则的流量进入BGP路由器时，路由器会执行对应的流量动作[7]。

基于BGP Flow Spec流量调度技术的研究，我们在现有DDoS攻击防护技术基础上进行了能力扩展，以支持更精细的流量操作。具体来说，可以灵活根据IP五元组和TCP控制字段等17个属性信息牵引流量，同时还提供灵活的下一跳动作，可实现流量黑洞、限速、重定向下一跳、重定向VPN等。因此，客户不仅可以从更细的颗粒度上拆分流量，还可以分方向、分地域的灵活执行流量动作，从而确保业务流量的通行。

3.2 Segment Routing over IPv6

SRv6（Segment Routing over IPv6，基于IPv6的段路由）是新一代IP承载协议，简化并统一了传统的复杂网络协议，是5G和云时代构建智能IP网络的基础。

作为一种Native IPv6技术，SRv6结合了Segment Routing的源路由优势和IPv6的简洁易扩展特质，而且具有多重编程空间，随着5G和云业务的发展，IPv6扩展报文头蕴藏的创新空间正在快速释放。在隧道层面，IPv6报文的扩展替代了隧道功能，从而取消了原有的LDP和RSVP-TE等MPLS隧道技术。SRv6只需要通过IGP和BGP扩展就可以完成Underlay功能和隧道功能，简化了信令协议；在业务层面，通过EVPN整合了原来网络中L2VPN VPWS（基于LDP或MP-BGP）、L2VPN VPLS（基于LDP或MP-BGP）以及L3VPN（基于MP-BGP）技术。业务层面可以通过SRv6 SID来标识各种各样的业务，也降低了技术复杂度[8]。

图2 基于SRv6的Overlay安全专网组网方案

通过充分探索、利用SRv6技术，组建Overlay安全专网，构建跨城域网、骨干网的SRV6承载通道，实现端到端的流量调度和处置能力，进一步释放中国电信云网协同的分布式近源网络安全能力，提升我国基础通信运营商整体的网络安全防护能力。

此外，在持续扩建城域网/IDC节点的同时，城域网、IDC专属CE与安全能力池合设，形成安全CE，进一步增强端到端的流量调度监控处理能力，全面覆盖经济发达省份城市，满足城域网、IDC、天翼云客户业务需求。

4  结束语

作为最早的国内运营商级网络安全防护系统与服务品牌，本方案成果已成为国内网络安全产品与服务领域的一面旗帜。后续，将围绕运营商的核心网络安全能力，运用先进技术手段来持续进行底层资源的聚集和建设，最终实现云网边端安全协同的一体化立体防护。

参考文献

[1] 张彬，李志国．DDoS攻击全面防范方法的探讨[J]．网络安全技术与应用，2020(12):3.

[2] DDOS攻击态势报告[EB/OL].2019-12-26.http://blog.nsfocus.net/ddos-attack-landscape-2019/

[3] 汤丹，匡晓红，蒋光和，等．运营商抵御DDoS攻击的安全解决方案[J]．计算机工程与设计，2006(21):84-88.

[4] Kumari W . RFC5635 - Remote Triggered Black Hole filtering with uRPF[J]. IETF, 2009.

[5] Marques, P., Sheth, N., Raszuk, R., Greene, B., Mauch, J.,and D. McPherson, RFC5575 - Dissemination of Flow Specification Rules[J]. IETF, 2009.

[6] Haas, J., Ed., RFC 7674 - Clarification of the Flowspec Redirect Extended Community[J]. IETF, 2015.

[7] Flowspec技术介绍[EB/OL]. https://download.h3c.com.cn/download.do?id=4137592

[8] IP网络系列丛书－SRv6[EB/OL].2021-10-27. https://support.huawei.com/enterprise/zh/doc/EDOC1100193023

作者简介：

冯晓冬（1979-），男，汉族，吉林人，高级工程师，研究方向为网络安全等。

田龙平（1977-），男，汉族，北京人，研究方向为网络规划、网络建设和网络架构等。

马晋（1979-），男，汉族，黑龙江人，中国电信IP专业高级专家（HCIE No.3752），研究方向为城域网、骨干网架构等。

刘长波（1980-），男，汉族，山东人，高级工程师，研究方向为网络安全等。

田金英（1992-），女，汉族，河北人，工程师，研究方向为网络安全等。