初中信息技术论文(初中信息技术课堂教学论文)

频道：科普故事日期：2023-09-11 浏览：1218

《信息通信技术》是中国联合网络通信集团有限公司主管、主办的国内外公开发行的中英文科技期刊（CN11-5650/TN，ISSN1674-1285)，2007年12月正式创刊。本刊旨在反映国内外信息通信技术最新研究成果，提供信息通信技术交流平台，推广先进信息通信业务和应用，为我国建设信息社会和创新型国家服务。

【作者姓名】 周旭李琢范鹏飞李菁菁

【作者单位】 中国科学院计算机网络信息中心

【摘要】 随着科学计算时代的到来，海量科学数据的产生带来丰富的基础性科技资源，也为计算和传输带来巨大的压力，需要大量的资源来处理，亟需算网融合技术将算力和网络有机结合。算力网络连通分散的、碎片化的算力资源，构建一体化的ICT基础设施，提供计算能力和网络能力等服务。文章研究面向科学计算的算力网络技术，搭建算力网络总体架构，采用资源度量、资源调度和算力路由等技术，部署算力网络原型系统，提供高性能的科学计算能力，完成复杂模拟和科学计算。在高能物理、天文领域等典型应用开展试验示范，能够显著提升科学大数据的网络传输效率和大数据处理能力，提升科研信息化服务能力与水平，加速重大创新成果产出。

【关键词】 算力网络；科学计算；计算需求

引言

科学研究在经历了实验科学、理论科学和计算科学后，产生了以“数据密集型科研”为代表的第四范式，现代科研方法已经发生质的飞跃，许多重大的科学发现已经离不开先进数据与计算的支撑，宇宙模拟、高能物理、基因测序、新药研制、新材料研发等科研领域创新，对科学研究和国家经济发展具有积极推动作用和长远意义[1-2]。然而，这些科研领域的科学数据近年来呈井喷式增长，海量数据也使得计算需求呈指数级增长，计算需求的飞跃带来了新的挑战。一是多元化的挑战，即科学计算场景的复杂化、科学计算架构的多维化；二是巨量化挑战，也就是由巨量模型、巨量数据、巨量算力及巨量应用引发的对现有数据处理模式的挑战。面对巨量存储、高速传输、先进算力、协同计算带来的新挑战，一方面单一的算力中心已经难以满足复杂科研需求，另一方面在分布式算力中心环境下，数据的放置对于科学计算性能和系统能耗影响都很大，在进行计算任务调度和迁移时需要充分考虑数据的传输和访问开销。有鉴于此，亟需开展分布式算力协同调度、多体系结构、高性能网络传输等算网融合、算网一体化研究，动态提供算力，支撑科研新范式下的创新研究。

1 大规模科学计算的需求与挑战

随着计算和网络技术的发展，大规模科学计算的新型需求爆发式增长，所面临的计算规模是巨大的，尽管现有的算力基础设施已经从百万级上升到千万级的处理核心，但面对复杂度更高的科学计算应用时，仍无法满足其对计算能力的巨大需求。在一些国家重大科技专项方面，支撑科学发现的科学应用蓬勃发展，持续产生了庞大的实验数据，为了能够处理海量的实验数据，需要扩大算力规模，将不同的数据中心、算力集群等连接在一起以实现算力共享。然而，算力的共享或整合都面临跨站点的数据访问和数据传输问题，尤其是大规模数据量的情况下，数据访问和传输的效率，很大程度上依赖网络质量。广域网质量参差不齐，如果调度不当，将影响分布式算力的处理效率。

针对大规模科学计算中的实验数据处理的数据访问和传输，一些科学数据选择在本地进行处理，数据访问和传输的性能可以通过优化内部网络环境来实现。一旦需要提供跨区域的数据访问和传输，目前的调度系统无法获取网络系统的实时质量，很难实现计算任务的实时数据输入和输出，通常以处理一批、传输一批的集中方式进行，且需避开网络繁忙阶段，缺少实时网络状态的协同任务调度的弊端逐渐显现出来。

2 科学数据的处理模式

根据《国家科学数据资源发展报告》的相关统计，我国科学数据资源总量已超过100PB，高质量支撑了国家重大需求，在这其中，对科学数据的处理成为服务科学计算的关键[1]。科学数据处理对网络能力的要求也随之进一步提高，通过网络对算力节点间的算力资源进行分配和调度，组织整个网络中的异构算力资源以处理海量科学数据[2]。面向科学计算的数据处理模型需要以网络为中心，实现算力资源和网络能力的有效适配，最大限度提供高效的网络算力调度和编排，服务科学计算。目前的科学数据处理模式中，主要有集中式数据处理模式和分布式数据处理模式。

2.1 集中式科学数据处理模式及挑战

集中式数据处理模式是将多个科学数据产生地的数据传输到一个地方集中进行处理，天文领域的科学数据处理就是采用集中式数据处理模式。由分散在不同地方的天文观测站，将多个观测站点产生的海量观测数据实时地传输到远程的数据中心，按时标严格同步进行相关处理，可得到被观测目标射电信号到达地面不同测站天线的时间差，即观测时延，然后开展各类科研与工程应用[3]。甚长基线干涉测量(Very Long BaselineInterferometry，VLBI)是一种具备极高角分辨率和测量精度的射电天文观测技术，在天体物理、天体与大地测量和深空探测等领域得到广泛应用。VLBI观测通常由多个地理上遥远分布的射电望远镜观测站联合参与同步进行，即VLBI本身是“分布式”的大科学装置。所有测站获得的海量观测数据按时标严格同步进行相关处理，可得到被观测目标射电信号到达地面不同测站天线的时间差，即观测时延，然后开展各类科研与工程应用[3]。

随着我国月球与行星探测任务的成功开展，未来将有越来越多的探测器需要VLBI系统进行跟踪测量。CVN将新建观测站，并计划开展动态双子网对不同天区的探测器进行同时观测。为满足全球跟踪测量能力，在条件具备时还需拓展到海外VLBI站实现全球无缝接力观测。集中式数据处理模式面临着很大的挑战，采用单一计算点的情况下，一方面，单点计算效率低，另一方面，将大量原始数据未经处理传输到远程数据中心，浪费大量的带宽资源，且传输链路无法得到保障的情况下，数据的传输极其容易受到链路状况的影响，一旦某一组实验数据由于网络拥塞无法准确到达，将影响整个系统开展科学数据计算处理的可靠性和可用性。因此VLBI测轨系统面临着数据传输网络带宽的压力和动态分布式协同观测与数据处理的能力要求，急需新技术进一步提升实时VLBI测轨系统的灵活性和可靠性可用性。

2.2 分布式科学数据处理模式及挑战

分布式数据处理模式是指将一个地方产生的科学数据分发到多个地方进行处理，物理领域的高能物理实验数据处理就是采用这种模式。高能物理实验数据十分庞大，例如北京正负电子对撞机(BESIII)每年产生约1PB原始数据，目前已经积累了超过10PB+的数据；大亚湾中微子实验每年产生200TB原始数据，已经积累了2PB以上的原始数据；高海拔宇宙线观测站(LHAASO)每年产生的数据量超过6PB。处理海量实验数据，需依靠大规模算力。目前各实验合作组都在尝试将合作单位的数据中心、算力集群等(以下称为站点)连接到一起，实现算力共享[4]。如JUNO实验基于Dirac软件建立网格系统，将俄罗斯、意大利、法国和中国等国家的算力整合到计算网格中；BESIII实验作为国内高能物理先驱实验，国内的合作单位较多，并且也建立了中小型计算站点，并尝试将各计算站点整合到一起。

然而，算力共享或整合都面临跨站点的数据访问和数据传输问题，尤其是大规模数据量的情况下，数据访问和传输的效率，很大程度上依赖网络质量。以BESIII实验为例，数据处理计算任务分为模拟作业、重建作业和分析作业三种类型。模拟作业因为其输入数据量较小，可以分发到较小型的站点，但国内很多站点的广域网质量参差不齐，如果调度不当，将影响分布式算力的处理效率。重建作业通常在主站点的本地集群完成，数据访问和传输的性能可以通过优化内部网络环境来实现。分析作业的输入数据和输出数据通常比较大，目前由于调度系统无法获取网络系统的实时质量，很难实现计算任务的实时数据输入和输出，通常以处理一批、传输一批的集中方式进行，并且需避开网络繁忙阶段，限制了数据处理的效率[5]。LHAASO实验以及未来的JUNO实验同样也会面临BESIII实验的上述问题。高能物理实验数据处理的数据访问和传输，缺少实时网络状态的协同任务调度的弊端将逐渐显现出来，急需算力和网络有机结合，实现实时网络状态与算力调度的融合，丰富高能物理计算任务调度策略，提高调度精准度，从而使数据访问和传输更高效[6]。

3 面向科学计算的算力网络技术

面对“云+边+端”网络协同和“集中—分布”算力协同的场景需求，以及为解决算力资源供给失衡的问题，网络在新型网络计算模型中将会占据更重要的位置。网络的功能将从“连接算力”，为数据中心、算力节点和用户终端间提供连接功能；走向“调度算力”，通过网络对算力节点间的算力资源分配和调度；乃至“组织算力”，对整个网络中的异构算力资源进行编排和组织管理[7-8]。新需求对网络能力的要求进一步提高，要求网络可以提供容纳、调度、编排多种地理布局、多种物理异构、海量的计算、存储、连接资源。在此背景之下，算力网络技术应运而生，以网络为中心，实现算力资源和网络能力的有效适配，最大限度提供高效的网络算力调度和编排[9]。

如前所述，面对科学研究庞大数据量的计算要求，无论是集中式还是分布式的科学数据处理模式，都亟需实现对计算和传输资源的统一利用，而新兴的算力网络技术恰好可以满足这种需求[10]。算力网络能够实现科学大数据的高效传输，通过计算、存储与网络等资源的协同、调度与管理，从以下三个方面对科学研究带来极大的促进作用。

1)显著提升科学大数据传输处理效率：通过算力网络技术实现对分布式的计算、传输资源的协同利用，提升计算和传输效率。

2)显著降低科学大数据传输处理成本：通过算力网络技术，可实现对闲置算力资源的充分利用，同时显著降低网络带宽需求，降低数据传输处理成本。

3)提升科研信息化服务能力与水平，加速重大创新成果产出：通过对算力网络等先进网络技术的示范应用，提升科研信息化服务能力与水平，加速相关学科领域的重大创新成果产出。

3.1 面向科学计算的算力网络总体架构

提出面向科学计算的算力网络总体架构，如图1所示，基于计算和网络传输资源，针对高能物理和天文领域等科学计算需求，以云网融合的方式部署相应的算力资源池，建设算力网络系统及应用示范平台，主要包括边缘算力池资源、算力网关节点、算力转发节点、算力网络管控平台及示范应用[11]。

其中，边缘算力池以KVM、Docker等虚拟化技术实现基础资源的虚拟化管理和编排，并经由算力网关接入算力网络；算力网关，分为算力资源网关和算力用户网关，主要实现算力网络的质量探测、SRv6路由及数据转发等功能；算力转发节点实现SRv6路由及数据转发功能，为算力网络提供SRv6链路的冗余节点和数据转发能力，所有算力网关与转发节点组成SRv6算力路由网络；算力网络管控平台实现算力资源状态信息收集与汇总、资源的编排与管理、SRv6算力路由的编排与管理等；示范应用平台，基于算力网络管控平台、应用部署与编排接口层，实现算力网络系统的应用服务管理平台，针对不同的应用进行统一调度和管理。

3.2 面向科学计算的算力网络部署方案

面向科学计算的算力网络系统及示范应用平台，拟采用NFV/SDN虚拟化技术进行构建，系统部署图如图2所示。其中，算力网络用户接入网关，采用Linux系统基于SR+IPv6技术实现，为科研装备/科研用户提供算力网络接入能力、数据转发能力以及SRv6路由编排等能力。边缘算力池采用KVM+QEMU实现虚拟机级别的资源管理和调度，采用Docker+Kubernets实现容器级别的资源调度、编排和管理。核心云平台基于平台云网资源对接边缘算力池，形成边缘、核心两级的算力网络系统，支持业务数据在边、云的分布式调度和管理等。算力网络管控平台，实现算力资源状态监测、资源编排与管理、SRv6路由编排与管理等，为示范应用提供资源视图和业务调度功能服务。示范应用平台，实现算力网络系统对示范应用的支撑能力。

1)对接高能物理试验应用

国内高能物理经过几十年的发展，在数据处理端，各实验已形成相对成熟的数据处理软件、作业程序等应用层面的一整套流水线。主流的高能物理计算平台目前采用高通量计算模式作为计算平台调度系统的基础，结合自主研发的中间件套件，融合部署高能物理实验软件、数据等实验数据处理必要元素，从而形成完整的应用与平台的结合。与传统的调度系统类似，计算平台调度系统主要由队列集群、调度器、调度收集器和计算节点组成，充分考虑资源的多样性和规模的可扩展性，任何资源只要通过授权，即可自由发布到调度系统的资源收集器中，以支撑算力网络与高能物理计算平台对接。

算力网络在高能物理领域应用如图3所示，算力网络在其管理的算力池中，依据算力网络的调度策略，选取合适的算力节点，并发布已选取的节点至计算平台的资源收集器即可，即以IaaS(Infrastructure as a Service，基础设施即服务)方式提供算力服务，原有的调度系统无需改变原有的用户使用模式，同时计算任务与计算节点间的匹配工作，仍由高能物理计算平台完成，这种方式既保证了算力网络快速有效的将算力发布至调度系统，同时可以充分利用高能物理领域积累的实验与平台的交叉软件和技术，保障实际应用的实现。

2)对接天文观测系统

应用算网融合创新技术，结合VLBI观测站本地相关数据处理技术，采用算力网络资源动态调用开展对探测器型号进行本地相关处理，充分利用观测站闲置的算力资源，然后传输经处理好的数据到VLBI中心再进行后续的处理。算力网络天文领域典型应用部署如图4所示，研究VLBI动态组网和主备VLBI中心的网络环境中，利用算力网络技术，建设动态的实时数据多向传输和算力分配系统，对VLBI网进行实时监控和资源调度。根据VLBI中心的在线状态和异常切换模式，动态地调整数据流和数据处理中心角色，实现高可靠自动切换的目标。

算力网络系统与观测系统的对接，基于算力网络的示范应用平台，研发任务调度管理子系统，以PaaS方式提供算力服务，根据观测任务的需求，算力网络系统直接提供算力与传输资源的协同调度服务。应用算网融合创新技术，结合观测站本地相关数据处理技术，采用算力网络资源动态调用开展对探测器型号进行本地相关处理，充分利用观测站闲置的算力资源，然后传输经处理好的数据到观测中心再进行后续的处理。在动态组网和主备中心的网络环境中，利用算网融合技术，建设动态的实时数据多向传输和算力分配系统，对观测网进行实时监控和资源调度。根据观测中心的在线状态和异常切换模式，动态地调整数据流和数据处理中心角色，实现高可靠自动切换的目标。

4 总结与展望

算力网络自被业界提出以来，在政府、学术界和产业界的共同推动下迎来蓬勃发展，各个方面迎来发展关键期，“东数西算”工程的实施助力构建全国一体化算力网络。算力网络服务于科学计算发展是未来发展的必然趋势，不仅可以大大提高科学计算的效率，还可以实现多学科的协同研究。面对科学研究庞大数据量的计算要求，算力网络能够实现科学大数据的高效传输，通过计算、存储与网络等资源的协同、调度与管理，构建基于算力网络的科学计算应用示范平台，完成科学大数据的按需流动、智能计算与可视分析处理，支撑重大科技创新活动，引领未来科技发展，助力科技强国。

参考文献

[1] 中国科学院“十三五”信息化专项科学大数据工程[J].中国科学院院刊,2018,33(8):893

[2] 汪洋,周园春,王彦棡,等.适度超前推动科研基础平台建设支撑我国高水平科技自立自强[J].中国科学院院刊,2022,37(5):652-660

[3] 杨晨,翁祖建,孟小峰,等.天文大数据挑战与实时处理技术[J].计算机研究与发展,2017,54(2):248-257

[4] 石京燕,黄秋兰,汪璐,等.国家高能物理科学数据中心分布式数据处理平台[J].数据与计算发展前沿,2022,4(1):97-112

[5] 胡庆宝,郑伟,王佳荣,等.高能物理科学数据中心智能运维系统[J].数据与计算发展前沿,2022,4(1):30-41

[6] 曾珊,陈刚,齐法制,等.高能物理科学数据服务与应用[J].中国科技资源导刊,2022,54(1):31-39

[7] 雷波,刘增义,王旭亮,等. 基于云、网、边融合的边缘计算新方案:算力网络[J]. 电信科学,2019,35(9):44-51

[8] 段晓东,姚惠娟,付月霞,等.面向算网一体化演进的算力网络技术[J].电信科学,2021,37(10):76-85

[9] 贾庆民,丁瑞,刘辉,等.算力网络研究进展综述[J].网络与信息安全学报,2021,7(5):1-12

[10] 何涛,杨振东,曹畅,等. 算力网络发展中的若干关键技术问题分析[J]. 电信科学,2022,38(6):62-70

[11] 狄筝,曹一凡,仇超,等.新型算力网络架构及其应用案例分析[J].计算机应用,2022,42(6):1656-1661