01
引 言
在国家“十四五”规划纲要中,明确提出“构建智慧水利体系,以流域为单元提升水情测报和智能调度能力”。水利部高度重视智慧水利建设,将智慧水利作为新阶段水利高质量发展的显著标志和六大实施路径之一,先后出台了《关于大力推进智慧水利建设的指导意见》《智慧水利建设顶层设计》《“十四五”智慧水利建设规划》《“十四五”期间推进智慧水利建设实施方案》等系列文件。而数字孪生流域是智慧水利的核心与关键,推进数字孪生流域建设是水利高质量发展的必然举措。
《“十四五”智慧水利建设规划》提出,强化工程基础数据、雨水情监测数据、安全监测数据及经济社会数据的信息共享及标准化服务,提供给上级单位、相应流域管理机构及水利部。2021年12月,水利部召开推进数字孪生流域建设工作会议,要求大力推进数字孪生流域建设,对数字孪生流域建设工作进行了全面部署,随后于2022年3月发布了《数字孪生流域建设技术大纲》、2024年4月发布了《数字孪生水利工程建设技术导则》等技术文件,进一步明确了数字孪生流域建设的技术要求。
02
政策研读
2022年3月由水利部印发的《数字孪生流域建设技术大纲(试行)》中明确提出:
3.主要任务
3.1数据底板
数据底板是在水利一张图基础上升级扩展,完善数据类型、范围、质量,优化数据融合、分析计算等功能。主要包括数据资源、数据模型和数据引擎等内容。
模型平台、知识平台均以数据底板为基础,实现监测数据仿真模拟,水利知识表示、抽取、融合、推理和存储等功能。
2024年4月1日由水利部印发的《关于推进水利工程建设数字孪生的指导意见》(水建设〔2024〕93号)中明确提出:
一.总体要求
(四)建设内容
构建信息化基础设施体系。建设包括监测感知体系、通信网络体系、基于北斗的时空底座、自动化控制体系、算力基础环境等信息化基础设施。
基于以上政策解读,能够得出水利行业数字孪生在落地的过程中,需要强大的算力资源和海量的存储资源,来支持相关业务开展,为水利数字孪生流域提供高扩展性、高可靠性的技术支撑。
03
需求分析
数字孪生流域是一个有机系统整体,不同层级、不同应用主体的数字孪生流域之间在数字底板和业务应用方面关联非常紧密。数字底板作为数字孪生流域整体系统的基座平台,需要承载大量的监测数据。数据类型主要为以下三个大类别:
水利基础数据
水利基础数据包括水库、水电站、水闸、泵站、引调水、堤防、农村饮水安全、高效节水灌溉、农田水利基本建设、小型农田水利、塘坝、窖池及灌区和地下水取水井以及在建重大水利工程等数据。
水利监测数据
水利监测数据包括已有感知设备动态监测和实时采集的涉及江河湖泊水系、水利工程设施等水利感知对象的实时监测数据,监测数据主要包括水文、水资源、水生态环境、水灾害、水利工程、水土保持等水利业务的监测数据。
水利空间数据
水利空间地理数据主要包括基础电子地图、水利基础电子地图及专题电子地图等相关数据。
以上数字孪生流域所需的相关数据,存在体量大、增长快、弹性要求高等相关特性,其中水利基础数据需要进行长期存储并及时更新,来掌握流域、水电站、水库、灌区等最新情况;水利监测数据需要强大的算力进行模型计算,以实时检测水生态环境,预防和应对水文灾害等,保障水环境安全和人民生命财产安全;水利空间数据则需要在水利相关地图的基础上,结合前两类数据及时更新,为上层指挥决策提供有力的数据支撑。
04
方案设计
总体方案设计
基于数字孪生流域所需要计算、分析、存储的庞大数据体量,威努特存算分离一体化解决方案能够提供灵活高性能、可扩展的底层资源池建设能力,通过资源解耦、动态调度和分布式协作有效解决数字孪生流域所面临的建设挑战。本次方案建设清单包含:
威努特蛟龙服务器
威努特超融合系统
威努特分布式存储系统
图1 方案拓扑图
计算资源设计
针对数字孪生流域建设所面临的资源需求,计算资源部分分别构建超融合资源池和AI算力资源池,并通过云管平台进行统一管理。其中超融合资源池承载数据收集、分析等核心业务系统,AI算力资源池承载图形渲染,模型训练等核心业务系统。
超融合资源池
数字孪生技术作为智慧流域的核心,通过构建与现实流域高度一致的虚拟模型,实现对流域运行状态的实时监测与精准预测。而数据底板作为数字孪生的基础,其稳定性、扩展性和处理能力至关重要。为此,我们提出基于超融合技术的智慧流域数字孪生数据底板建设方案。
超融合基础架构通过软件定义的方式,提供计算虚拟化、存储虚拟化、网络虚拟化等功能和策略制定,构建出一个完整、统一的基础架构资源池。通过虚拟化技术,将分散的物理资源整合为统一的资源池,实现资源的按需分配与动态调整,提升资源利用率;能够根据流域数据增长和业务需求,快速扩展计算与存储资源,确保数字孪生模型的实时更新与高效运行;采用分布式架构与数据冗余技术,确保数据底板的高可用性与业务连续性,有效抵御单点故障。
图2 超融合架构图
AI算力资源池
数字孪生流域中,遥感影像动态解译、三维场景实时渲染、洪水演进建模、防汛应急智能决策等业务场景都需要强大的算力支持,由于超融合架构在调用AI算力时存在性能损耗,为了最大化实现算力资源的调度使用,采用裸金属架构的方式构建AI算力资源池。
威努特鲲鹏服务器安全一体机是基于ARM架构开发的双路机架式服务器一体机。该服务器一体机是国内满足自主可控需求的ARM架构产品,面向信息安全和自主可控市场。与传统的X86架构不同,威努特鲲鹏服务器一体机采用原生态的ARM架构,提供良好的生态应用环境,同时计算性能高、访存带宽和IO扩展能力强。
威努特鲲鹏服务器安全一体机支持选配多种规格型号的Atlas国产化AI算力卡和AI视频解析卡,AI算力卡能够提供超强AI推理、目标检索等功能,具有超强算力、超高能效、高性能特征检索、安全启动等优势,可广泛应用于OCR识别、机器学习、快速检索、人工智能训练等诸多AI应用场景;AI视频解析卡能够提供超强AI推理、视频图片编解码等功能,具有超大视频解析路数、高性能特征检索、安全启动等优势,可广泛应用于视频流处理、图形渲染、建模分析等诸多图形处理场景。此外,威努特鲲鹏服务器安全一体机搭载威努特防勒索软件,软硬一体帮助用户快速处置安全问题,构建安全防护系统。
图3 裸金属算力服务器
计算资源池统一管理
威努特超融合云管理平台是面向混合IT,以多架构适配、多功能扩展、多环境支持为特性的云管理平台。为企业用户提供异构多集群纳管,增强网络互联特性,同时依托资源编排、云安全、云原生、云容灾等平台服务能力,助力企业IT运维人员对庞杂的数据中心软硬件设备、各类应用负载和复杂网络拓扑进行集中管理、统一运维,满足用户业务自助式交付、快速平稳运行、弹性扩缩容以及持续升级迭代的多元化需求。
云管平台能够统一纳管超融合资源池、AI算力资源池和裸金属资源池,其中运维组件能够提供平台可用性检测、资源运行状况以及为集群、节点、存储、虚拟机等资源提供告警服务等能力,提供集群全局智能巡检、不同种类可回收资源检测和整个集群资源默认提供监控服务,同时提取关键性指标,设置全局性告警规则(指标、阈值),支持大屏展示和统一管理告警信息,为数据底板的统一管理提供有力抓手。
图4 统一云管平台架构图
小 结
基于超融合资源池和AI算力资源池的高效数据处理能力,数字孪生模型能够实时反映流域状态,为决策者提供准确、及时的信息支持,提升决策效率与准确性。在洪水、干旱等极端天气事件中,数字孪生模型能够迅速模拟流域变化,为流域科学研究与技术创新提供有力支撑,为应急响应提供科学依据,保障人民生命财产安全。
存储资源设计
考虑到不同数据的使用场景和建设成本,存储资源池分为高性能全闪资源池和大容量混闪资源池两个部分,其中全闪资源池主要存储传感器采集的流域水位、流速、水质等实时监测数据,这类数据通常以结构化或半结构化形式存在,需要低延迟写入和高并发读取支持;混闪资源池主要存储水文模型、洪水预测模型及长期积累的历史分析数据,这类数据多为大文件(如TB级仿真结果),需要占用大量的存储资源,并且调用频率相对较低。
高性能全闪资源池
威努特分布式全闪块存储系统,在分布式全闪块存储系统存储集群中,每个节点的角色都是完全对等的,读写I/O从应用端流入后,被拆分成多个阶段,分别对应着各个微控制器进程。每个I/O被转发到本节点内的其他微控制器上进行下一步处理,逐步流水线推进直到数据最终落盘。各个微控制器间由于相对固定的资源锁定,几乎不存在CPU核心资源竞争与跨NUMA节点的访问,也不存在因为CPU上下文切换与分支预测错误带来的巨大延迟开销,多个读写I/O宏观上被均匀地分布在整个分布式全闪块存储系统集群,由各个节点的多个CPU核心进行高效的并行协作处理,从而实现了在分布式体系下微秒级的极低时延响应。
图5 全闪分布式存储技术架构
与此同时,威努特分布式全闪块存储系统设计了高性能的引擎核心——XPE加速引擎。它通过私有CPU调度器与虚拟内存管理,基于微控制器实现高效的并发流水线作业,从而从根源上解决存储系统的性能问题。构建了软件定义的超高性能分布式全闪块存储系统。
图6 全闪分布式存储XPE加速引擎
在智慧流域数字孪生的应用中,大量的物理模型、传感器数据、历史运行记录等信息需要被高效地存储和读取。全闪存储系统以其低延迟、高吞吐量的特点,能够确保数字孪生模型在实时性要求较高的场景中依然能够稳定运行。并且分布式架构使得存储系统具备高度的可扩展性和灵活性。在数字孪生的构建过程中,随着物理实体的增多和仿真精度的提高,所需存储的数据量也会急剧增加。高性能全闪分布式存储系统能够通过增加存储节点来轻松应对这一挑战,确保数字孪生模型的持续发展和优化。
大容量混闪资源池
威努特分布式混闪存储系统,性能上相比全闪架构有所降低,但是在数字孪生所收集和生成的数据中,终归有很大一部分数据会逐渐从热数据下沉至冷数据,最终下沉至归档数据,这部分数据需要被重新调用的概率也在逐渐降低。尽管如此,这部分数据还是需要被长期保留,用作建模数据补充或者追踪溯源使用。
混闪架构中SSD部分提供了极高的读写速度和低延迟响应,这对于需要频繁访问和处理大量数据的数字孪生应用至关重要,快速的响应时间可以确保数字孪生模型中的实时数据同步和更新,提高仿真的准确性和效率;HDD部分则提供了大容量存储空间,且成本相对较低,对于存储数字孪生模型所需的海量历史数据、参数调试和仿真结果对比非常有利。威努特分布式混闪存储系统既满足了性能需求,又控制了存储成本。
图7 混闪分布式存储技术架构
05
结 语
威努特在数字孪生流域存算分离解决方案中,构建了高效、灵活的基础设施架构,通用服务器与算力服务器组成的智能计算集群,可提供分布式并行计算能力,支撑流域模型训练、洪水演进模拟等高负载任务,满足“四预”场景下的实时分析需求;超融合系统实现计算、存储、网络资源的深度整合,支持水利多源数据(如遥感影像、传感器数据)的快速融合与调度,提升数据利用效率;分布式存储采用全闪与混闪结合的分层架构,既保障实时监测数据的低延迟访问,又通过低成本大容量存储满足历史数据归档需求,同时内置数据加密、防勒索等安全机制,确保水利敏感数据的全生命周期保护。该方案通过存算解耦设计,实现资源动态调度与按需扩展,在保障流域数字孪生体高保真运行的同时,降低基础设施建设成本。
在智慧水利不断开展的建设进程中,威努特也将持续为数字孪生流域的信息化建设提供专业方案与建设经验,以水利部数字孪生平台暨全国水利一张图为指导思想,支撑“四预”业务(预报、预警、预演、预案)的功能实现,为智慧水利的建设进程添砖加瓦。
渠道合作咨询 田先生 15611262709
稿件合作 微信:shushu12121
📍发表于:中国 北京