原创 申港证券 2025-07-15 09:01 中国香港
重要支撑基础设施
摘 要：金融机构数据中心主流系统间的数据通信和业务处理都以网络流量为基础，绝大部分故障和安全态势感知都必然以网络流量为表现。本文以提升数据中心故障、风险处理效率和问题检测分析能力为目标，兼顾投资效益和生产资源利用效率，开展数据中心旁路流量镜像网络建设实践，总结了镜像网层级架构设计，并浅析了流量消费层应用场景。旁路流量镜像采集网从根本上提升了传统运维监控的维度，为安全态势感知、网络性能监控、应用性能监控、流量溯源、业务数据挖掘等上层应用提供了坚实高效的数据传输底座。
关键词：流量镜像网、全流量监控分析、TAP、数据可视化、旁路
一、建设背景
随着技术的不断发展，Fintech正在重塑金融服务的方方面面，数字化转型已经成为金融行业的战略共识，也是未来业务高质量发展的核心驱动之一。数据中心作为金融机构集中处理数字业务的基础设施核心单元，实际承载着金融机构的数字业务处理。日益扩大的数据中心网络规模和日趋复杂的业务应用，带来不断增加的网络运维压力和网络安全威胁。
金融机构主流系统间的数据通信和业务处理都以网络流量为基础，绝大部分故障和安全感知都必然以网络流量为表现，从信息技术各条线联合运维的整体效率出发，传统监控管理方式已经无法满足在复合型场景下的分析需求：
网络侧：传统基于SNMP的监控以单个设备为监控视角的孤岛模式无法进行多维度视角关联分析，也无法有效对数据包穿越设备前后的状态进行对比；
安全侧：由于基于规则的检测技术本身存在滞后属性，导致以“被动防护”、“平衡风险”、“适度安全”为主的传统网络安全防御措施受到挑战，难以适应业务发展与监管的新要求；
应用侧：由于业务和网络的复杂化，传统方式仅从应用日志和通断等维度监控，无法满足以数据流端到端转发路径为视角的全景模式分析长期趋势和跨时间范围的比较。在处理系统异常时，将可能存在故障定位缓慢、业务恢复周期长、访问质量难以统计等问题。
传统监控管理模式需要提升：从孤岛模式提升为以端到端数据流转发路径为视角的全景模式；使用从高层协议视角入手，以数据包为剖析对象的全协议栈流量分析技术，覆盖网络与应用之间的监控盲区；通过采集、处理、转换和存储大规模实时流量数据，通过对流量数据的挖掘分析和二次利用，实现流量侧监控的及时性、有效性和可回溯性。流量可视化分析技术的运用已经成为未来运维的必然趋势。
作为流量可视化的基础，在传统方案中，通常采用交换机端口镜像、分光器等方式从需监测分析的网络中捕获数据包，传递给流量分析系统探针后再进行解码、合成、分析和呈现。当网络规模较大时，需要进行流量分析的链路也非常多，采用传统方案的分析工具需要大量的端口进行流量分发，流量采集层面的复杂度较高；当流量分析工具种类和数量较多时，因传统端口镜像和分光器等方案的流量采集层和流量消费层无法共享流量，造成不同工具所需网络端口、服务器端口等资源均无法共享。
为了科学合理的利用资源，实现对全网网络流量的精准采集、预处理和高效分发，需将企业网络中分散的流量采集和分发层建设成为一个统一的流量采集和分发平台--流量镜像采集网。
二、流量镜像采集网的价值
1、监控分析数据源传输通道
通过镜像网络流量方式采集获取网络基础架构上业务交互的流量，可为网络监控、交易监控、安全监控、大数据、客户行为分析、访问策略需求梳理优化、各类可视化分析平台以及应用扩容、迁移等提供所需的数据源。
2、提高流量数据利用效率，增加监控覆盖范围
统一的网络流量镜像采集网，可以对双中心甚至多中心的分散流量进行合并再处理，降低流量数据采集、存储和计算的成本开销，实现数据中心整体流量数据的按需和统一供给，能让分析工具、探针、安全分析系统集中按需部署在指定的数据中心。可通过增加资源的方式，可覆盖全网节点，包括远端节点、虚拟网和云端。
统一的流量采集调度，可避免因网络设备SPAN port不足，错过找出问题根源的最佳时间或被迫暂停还在进行的分析。
3、提升故障及风险处理效率
通过为NPM（Network Performance Management）、APM（Application Performance Management）、安全监控类NTA（Network traffic analysis）等流量分析平台提供统一的数据源，可消除原有各监控平台存在采集信息来源不一致、信息不对称等问题，提升各类突发事件处置效率，快速定位问题/风险，恢复业务，提高业务连续性水平。
4、降低生产资源消耗，提升监控投资效益
旁路式流量采集监控，可规避对应用性能、稳定性的影响，不消耗应用系统本身的主机资源。同时，集中式部署监控工具，可更好的利用流量类探针的性能，大大减少跨区域探针数量，提升单探针可采集的空间。
三、流量镜像采集网建设实践
1、流量镜像采集网主体架构规划（示例）
图1 流量镜像采集网主体架构（有波分）
如上图所示，一般情况下，完整的流量镜像采集网按功能规划分为如下几层结构：
流量供给层
流量接入层（输入）
流量汇聚及预处理层
流量接入层（输出）
流量消费层（分析工具）
根据全网实际流量大小和各层设备的端口数量及吞吐性能需求，单个数据中心内的流量镜像采集网在物理层面建设根据需求可以选择采用一级架构或“汇聚处理+接入层”的二级架构，流量供给层各采集节点通过流量镜像方式将流量复制传输至流量镜像采集网的汇聚或接入层设备。
1）数据中心之间有波分资源时可按需互传镜像流量
在主备中心有DWDM设备和裸光纤的情况下，流量汇聚层镜像网设备可根据流量消费层分析工具的需求将主备中心流量供给层采集并预处理后的流量传输至对应数据中心，以便流量分析工具对两个中心的流量开展统一分析。
图2 有波分的主备中心镜像流量可按需互传
2）数据中心之间无波分资源时仅传输管理流量
由于DWDM设备及裸光纤费用高昂，并非所有金融机构都在使用，不同数据中心之间可能仅有小带宽专线进行数据传输。此时可以考虑在主备中心部署各自独立的流量采集分发平台，通过小带宽专线传输流量采集分发平台的管理流量以便于管理及控制；流量分析设备可以考虑用探针+统一管理及展示平台方式进行部署，主备中心流量分析系统探针仅接收和处理本数据中心的流量，通过统一管理及展示平台进行管理和展示，小带宽专线仅传输流量分析工具的分析指令和计算结果。
在实际规划中，考虑投资的经济性，流量镜像采集网初期建设可以从南北向流量采集开始，每个数据中心部署满足南北流量和少量东西向流量数量端口的采用一级架构的镜像设备，后期根据更加细化的流量采集和消费需求，逐步扩展流量镜像采集网。
2、流量镜像采集网各结构层级规划
1）流量供给层
流量供给层通过网络设备镜像口/分光器/软件复制方式将业务流量复制传输至镜像流量网络的流量汇聚核心或接入层设备。
流量供给层数据包采集节点（业务网络）
接入层交换机
该采集点根据数据流流向不同分为南北向流量和东西向流量，建议分开采集。
采集南北向流量：
南北向流量主要采集接入层交换机到汇聚层交换机的流量，采集时需根据实际业务网络情况考虑去除业务网络接入层Vlan tag。
采集东西向流量：
东西向流量主要采集同一组接入交换机内连接主机的端口流量，采集时需根据实际情况考虑去除重复数据包。
汇聚层交换机
该采集点主要采集接入层交换机/路由器到汇聚交换机的南北向流量，采集时需根据实际情况考虑去除重复数据包。
核心交换机
交换核心上可以采集到主要网络区域及其他末梢区域之间的流量，此处必然会产生重复数据包，采集时需去重。
出口路由器
通常情况下，出口路由器可采集到本机构与外联机构之间流量、到内部分支机构的流量、广域网/骨干网/互联网线路流量，主要属于南北向流量，采集时需根据实际情况考虑去除重复数据包。
虚拟机Node镜像
通常情况下，因南北向流量可在物理交换机层面采集，此处建议仅采集同一宿主机内东西向流量（同网段），同时在VM上配置过滤策略，仅镜像同网段虚拟机之间的流量，作为物理交换机镜像的补充。
2）流量接入层（输入）
流量接入层（输入）主要用于流量镜像采集网接收业务网中复制传输过来的流量，根据流量数据来源端口速率、数据来源端口数量来合理规划配置接入端口类型和接入端口数量；若流量镜像采集网采用“汇聚处理+接入层”的二级架构，还需考虑接入层至汇聚层设备的端口容量和链路的冗余性，避免因数据源流量超过设备瓶颈或接入层至汇聚层链路出现故障时导致数据包在传输路径上的丢弃，影响后续数据处理分析的准确性和可靠性。
在流量接入层（输入）采集业务接入层交换机流量时，需对南北向流量和东西向流量进行区分：
一般情况下，同一台业务交换机上镜像采集过来的接入层东西向流量（两个不同端口所在服务器之间的通讯）会产生重复数据包，此时需要用到数据包去重功能来保证镜像来源的唯一性。另外，考虑流量镜像采集网建设的经济性，一般“汇聚处理+接入层”二级架构的流量接入层（输入）设备，往往采用不具备高级功能（报文切片、时间戳、报文去重、报文脱敏等功能）的型号，需通过流量接入层（输入）设备对采集过来的东西向流量数据包打上对应东西向流量标签后送往流量汇聚及预处理层或消费端进行去重等后续处理。
3）流量汇聚及预处理层
流量汇聚及预处理层主要用于接收流量接入层（输入）传输过来的流量，并对这些数据包根据消费层需求进行预处理。
流量汇聚层（一级架构则同时为接入层）需根据流量镜像源的数据量，合理规划配置端口容量、速率、端口类型。
流量数据包预处理层，除了常用的过滤、复制、汇聚、打/去除Vlan标签等基础功能外，部分功能需求一般需使用FPGA芯片才能对数据包进行对应处理，这些需求被称之为“高级功能”。受限于FPGA芯片的性能，这些数据包预处理层设备的“高级功能”处理性能往往小于交换性能，在规划时也需纳入考量。常用的高级功能如下：
报文切片
数据包打时间戳
报文解封装
GRE隧道终结
报文去重
报文脱敏
关键字过滤
报文捕获
一般情况下，如果消费端仅仅是NPM系统，可以通过数据包报文切片的方式预处理后再进行流量供给；对于一些包含敏感数据的流量数据包，也应采用数据包报文切片或者报文脱敏的方式进行预处理。
另外，因接收的流量数据包在去重后具有唯一性，当需要根据不同需求分发不同处理逻辑的流量数据包至流量消费层多个消费端时就存在需要提前将流量数据包进行复制。在实践过程中，不同设备处理流量复制的逻辑可能存在不同，部分设备在接收流量时先通过内部环回对流量进行复制后再进行处理，另一部分设备需要额外消耗物理环回端口才能对流量数据包进行复制及后续处理。对于需要额外消耗物理环回端口的设备，在规划初期需额外考虑物理端口的数量问题。
4）流量接入层（输出）
流量接入层（输出）根据不同流量分析工具的需求，对各流量分析工具接收数据的探针/服务器输出预处理及打标签后的流量数据。因输出的流量为处理后的汇聚流量，在规划时需考量接收数据的探针/服务器处理性能和端口容量，避免输出流量超出端口容量或分析工具探针/服务器处理性能，影响分析结果的准确性和可靠性：
当需要输出超过单个端口容量的场景时，可考虑分离部分输出流量至探针的其他端口；
当输出流量超过单个分析工具探针/服务器处理性能的场景时，可考虑横向扩展分析工具探针/服务器。
3、流量镜像网及上层应用规划过程中的注意点
1）端口容量问题
流量接入层（输入）端口容量关注点
在流量镜像网实施过程中需关注流量供给层网络设备端口容量问题，避免镜像源端口总流量带宽超过镜像输出端口总流量带宽从而造成报文丢失的问题，影响上层应用分析结果。
流量接入层（输出）端口容量关注点
在分析工具接收流量设计过程中，同样也需考虑工具探针接收流量的端口容量，避免数据源流量超过工具接收端口总容量从而造成报文丢失的问题。在出现此情况时，可以考虑将数据源流量分散到不同接收端口。
2）流量供给层和流量消费设备的性能问题
在流量镜像采集网设计和建设过程中，需同时关注流量供给层和流量消费设备的性能问题：
流量供给层
采用SPAN方式提供流量镜像时，需考虑流量供给设备在生产过程中的实际负载，避免因资源不足造成流量供给设备异常的情况，本末倒置。旁路式流量镜像网初衷是为了在分析时尽量不消耗生产网的资源，同时建立旁路式分析工具的目的之一也是为了使得相关监控的变更不影响生产。
流量消费设备性能问题
笔者在本次实践过程中发现，流量消费层设备在处理不同协议类型数据包时的性能开销差距较大，主要体现在APM分析工具对于TCP和UDP协议数据包的处理上。因APM需要对同一业务流的数据包前后建立关联关系，在处理UDP数据包时的设备性能开销明显大于TCP数据流。在规划时建议进行充分测试，避免因性能问题造成分析系统探针进程崩溃重启，影响分析系统运转。
3）上层应用探针与管理端的时钟问题
在部署上层流量消费分析工具时，需考虑关注探针和分析管理平台等设备的时钟同步问题，尽量使用统一规划的时钟源，避免探针、分析平台因时钟不同步出现影响分析结果和告警及时性的问题。
四、流量消费层应用场景浅析
经过流量镜像采集网对数据中心流量采集、预处理、汇聚输出，流量消费层不同的流量侧分析工具可以根据各自需求取得对应的打过标签的流量数据进行后续分析。本文仅针对实践过程中相关的网络性能监控、应用性能监控、网络安全流量分析三类常用应用场景进行浅析。
1、网络全流量分析（NPM）应用场景
网络全流量分析系统可帮助数据中心网络管理人员和相关系统运维人员分析网络流量的实时情况，高效定位传输故障，提高数据中心的运维效率，降低数据中心网络管理成本。通过全流量捕获链路上的数据报文，进行报文的全量分析和溯源。以下为常见的几种使用场景：
链路可视化监控场景
-通过对链路的带宽、延时、丢包、重传、会话等多维度指标进行监控以及IPv4/IPv6流量实时对比，可根据预先设定的阈值进行告警和统计报表。
-对关键网元前后流量进行可视化对比，如流量、会话、延时、广播、丢包重传等，及时发现网元本身的异常状态。
自定义业务系统监控场景
-通过对预定义的业务场景分类，可根据不同系统、不同业务场景维度实现自定义监控及针对特定业务系统不同维度的统计报表。
故障场景回溯
-提供报文级别的历史流量场景回溯，提高故障分析的效率和准确性。
2、应用性能分析（APM）
网络应用性能分析系统通过捕获预定义需监测系统的数据报文，解码后通过预定义的业务流量以统计学维度进行关联分析。以下简单列举几个证券公司信息系统监控场景：
周边系统到集中交易系统（恒生）的应用性能监控分析场景
-通过预定义主柜台的各接入组件和内部通讯组件地址及端口，通过流量镜像网捕获相关数据包进行关联分析。
-根据不同周边系统服务器到集中交易系统接入AR或BAR的业务数据流分别计算与分析关键黄金指标：交易量、响应耗时、响应率、成功率。
-根据服务器和系统维度配置告警，当某台服务器或者某个系统发生异常时可第一时间感知。
-可使用上层分析工具，分析同比和环比的信息系统性能，提前感知性能不足的问题。
周边系统调用主柜台功能号的应用性能监控分析场景
-以统计维度统计分析周边系统调用主柜台功能号的相关指标，对于错误调用、失败率较高等异常情况可第一时间感知。
以业务流为视角的全链路跟踪分析（需APM支持解码）
-根据预设的业务流场景，跟踪每一笔业务到达每一个系统节点的情况，对相关业务部门提供业务数据可视化能力输出。
3、安全类全流量分析（NTA/NDR）
安全类NTA/NDR系统通过监控边界和内部安全区域的数据流，深入分析并检测双向请求。相比传统安全设备，它们以旁路部署的方式，结合威胁情报等多种工具，从全景视角和统计维度对潜在威胁进行全面分析及精准定位。
多视角可视化威胁态势感知与降噪：对企业而言，并非所有攻击都值得密切关注。许多攻击并未成功，甚至未构成实际威胁。通过全景视角分析，企业能够更轻松地判断攻击是否成功，从而最大限度地减少无关紧要的警报噪音，提升安全响应效率。
增强失陷主机反连行为检测能力：结合威胁情报与各厂商NTA工具的检测模型，系统能够更有效地检测并定位内网中失陷主机的回连行为，及时发现潜在的安全威胁。
跨长时间维度的可疑与敏感行为识别：通过全量收集并分析数据包，系统能够利用机器学习技术，识别出跨越长时间维度的可疑和敏感行为模式，为企业提供更深入的安全洞察和预警能力。
五、结语
目前金融机构主流信息系统的数据通信和业务处理都以网络流量为基础，网络是信息系统的根基，绝大部分故障和安全感知都必然以网络流量为表现。因此，网络全流量数据是相对最为完整的信息数据来源。
数据中心旁路流量镜像采集网及所承载的流量消费应用系统现已成为金融数据中心业务和网络安全平稳运行的重要支撑基础设施之一。随着数据中心的持续建设和运维管理能力不断提升，科技赋能业务的视角将不断拓展，应急处置能力也将不断提高，在金融业数字化转型改革的浪潮中，为提升金融科技核心竞争力和金融业务发展能力奠定坚实的基础。
作者介绍
苏俊超，目前就职于申港证券，证券行业老兵一名。热爱技术，只要是有帮助的，啥都研究。
