数据中心算力-电力灵活性协同研究智能管控计算负载，灵活调节电力负荷白皮书腾讯调研云执行概要适应新能源发电比例不断提高，以及用户侧电力需求响应逐步常态化的趋势，腾讯携手英特尔、中国电信，针对通过数据中心算力-电力协同进行需求响应进行了初步可行性研究。本研究提出通过判断计算任务在服务器上的算力-电力特征，在不影响业务运行的情况下，降低电力部件的实时冗余性、调整业务负载的并行规模和时间分布。研究对业务-算力-电力三者协同提供电力灵活性的多种策略进行了实际测试，在服务器集群运行不同IT任务类型时，通过切换空载服务器功耗状态、利用服务器子部件资源消耗不均衡性、平移和伸缩实时性不敏感任务，改变负荷大小和时间分布，可达到节能降耗、对电网负荷削峰填谷等目的，可适用于各种规模、形式的数据中心、机房、集群和服务器。本研究表明，三种策略均可根据外部指令实现秒级对服务器功率的快速控制，为数据中心参与需求侧分钟级、秒级响应，或参与电力现货市场和电力辅助服务市场，提供了可行性依据和技术支持，显示数据中心的电力灵活性响应具备巨大的潜力以及广阔的应用前景。未来，推动其由研究走向数据中心算力-电力需求响应的成熟应用，既需要对更多部件、更复杂的部署情况进行深入实验，又需要形成自动化系统，联动业务-算力-电力三者的对应信息，同时更需要产业伙伴广泛协同，采用一套标准的测试方法标定业务负载在机型上的电力特性数据，开源共享，从而充分挖掘和发挥出数据中心算力侧的电力灵活性，助力构建新型电力系统。背景环境挑战日益严峻，其影响正受到全球高度关注。2022年4月4日，联合国政府间气候变化专门委员会(IPCC)正式发布了第六次评估报告(AR6)，并在第三工作组报告《气候变化2022：减缓气候变化》中警示1，在2100年前将全球升温控制在1.5℃以内(且不导致“过冲”)的机会窗口短暂且正在迅速关闭，全球减缓气候变化和适应的行动刻不容缓，任何延迟都将关上机会之窗，让人类的未来变得不再具有可持续性。同期，在中国气象局2022年8月3日发布的《中国气候变化蓝皮书(2022)》则显示2，2021年中国地表平均气温较常年值偏高0.97℃，达1901年以来的最高值，升温速率高于同期全球平均水平，是全球气候变化的敏感区。为有效应对严峻的环境挑战与经济社会高质量发展的内在压力，落实联合国2030年可持续发展议程，中国积极实施生态文明国家战略，发布“碳达峰”和“碳中和”目标，加快降低碳排放步伐，引导绿色技术创新。同时，持续推进产业结构和能源结构调整，努力兼顾经济发展和绿色转型，促进可持续发展。在中国，电力行业碳排放量占全国碳排放总量的40%以上，同时用电增长作为刚性需求，是支撑经济转型升级和居民生活水平提高的重要保障，这使得电力成为未来10年能源增长的主体3，且在社会整体用能电气化的背景下新增需求巨大。电力行业的碳排放峰值及达峰速度直接决定着2030年前全国碳排放达峰目标能否实现。也正是因此，电力行业的减排成为中国整体实现“双碳”目标的重要抓手，也让需求侧(用户侧)的电力响应逐渐走向前台，并在数智技术的助力下，对节能降碳发挥日益重要的作用。目录执行概要......................................................1背景............................................................1数智技术助力需求侧响应走向节能减碳的前台..2探索和推进数据中心电力灵活性实践..............2系统化构建数据中心算力-电力灵活性方案......4灵活性策略设计.................................................4利用空载服务器在不同功耗状态之间切换................4利用计算任务在服务器硬件资源消耗上的不均衡性......4利用平移和伸缩实时性不敏感的计算任务..................5利用网络跨数据中心转移任务..............................5灵活性策略结果.................................................5利用空载服务器在不同功耗状态之间切换的策略测试....5利用计算任务在服务器子部件消耗不均衡性的策略测试..6硬盘密集型任务.....................................6内存密集型任务.....................................7CPU密集型任务.....................................8利用平移和伸缩实时性不敏感的计算任务策略测试.......8子任务独立型并行计算..............................9子任务耦合型并行计算..............................9对下一步研究的启示.....................................10未来展望....................................................11鸣谢...........................................................11附录...........................................................121腾讯调研云数智技术助力需求侧响应走向节能减碳的前台大力发展风电、太阳能等可再生能源，支撑火电从基荷能源往灵活性能源的转变，驱动行业转型，是支持全社会加速脱碳的一个关键环节。但是，这类可再生能源供应存在明显的间歇性、随机性以及不可控特性，这给电网的长期发电容量和短期实时平衡都带来了巨大挑战。因此，调动用户侧灵活地深度参与系统平衡，对于以新能源为主体的新型电力系统建设具有重要支撑作用。2021年底，中国国家能源局修订发布《电力并网运行管理规定》(国能发监管规〔2021〕60号)4、《电力辅助服务管理办法》(国能发监管规〔2021〕61号)5，将电力系统参与主体由原来的传统发电厂单侧扩展为“源荷”两侧，特别是加入了“风光、新型储能、负荷侧可调节负荷”，同时也提出“谁提供，谁获利；谁受益、谁承担”原则，电力辅助服务费用由包括发电企业、电力用户在内的所有并网主体共同分摊。这不仅让用户侧的电力精准预测成为用能企业的责任，也激励着用能企业从单纯用电方转向电力灵活性的提供方，积极挖掘自身用电灵活调节能力。然而，用户侧负载与人们生活、企业生产等直接相关且高度分散的特性，决定了对其控制需要从生产到电力的整体协同。同时，需求响应可调节资源类型复杂，数据统计分析工作量大，传统手段难以应对。大数据、人工智能、物联网等技术的应用与融合，给精细化进行用户负荷管理与响应带来了新契机，使得对需求侧负载进行有的放矢地实时调节成为可能，其在数据中心等领域的应用探索和推广也将为绿色可持续发展提供创新动力。探索和推进数据中心电力灵活性实践5G、人工智能等新技术的快速发展和应用，为各行各业高质量发展提供了强劲新动能，同时也让作为新型基础设施的数据中心规模不断扩大，其能耗和社会用电占比都在持续增长，预计2025年中国数据中心耗电将占社会总用电量4%6。因此，加速数据中心绿色转型也成为节能减排、促进可持续发展的重要途径。作为一家领先的互联网科技公司，腾讯秉持“用户为本，科技向善”的使命愿景，制定了腾讯自身的碳中和目标设定和减排路线规划7，承诺不晚于2030年，实现自身运营及供应链的全面碳中和；同时，不晚于2030年，实现100%的绿色电力，并希望主动承担起助力社会低碳转型、扶持新兴低碳技术的使命和义务。为实现这一目标，腾讯遵循“减排和绿色电力优先、抵消为辅”的原则，大力提升数据中心的能效水平，积极参与绿电转型及相关市场建设，并不断探索碳汇领域的技术革新。怀着这一宏阔愿景，腾讯积极推进数据中心节能减排，例如腾讯在中国南区的第四代T-block技术通过采用高效率的制冷和供配电架构，拥有30万台服务器的园区一年能节省约2.5亿度电，且具有低噪音、高能效等特点与成本优势8。而其中，经与英特尔合作，基于英特尔®至强®可扩展平台的首款自研服务器，分别将计算密度、散热能力提升50%和45%，为数据中心大幅降低电量提供了关键助力9。同时，数据中心管理、功耗钳制、待机功耗优化等相关技术也被收录于英特尔绿色数据中心技术框架中。然而目前数据中心的建设规范和导向，都重点关注评价数据中心能源效率的指标(PUE)等电力使用效率指标，也就是数据中心总能耗与服务器等IT设备能耗之比，尚未面向数据中心提出电力灵活性指标。这源于过去服务器电力供应与对应的计算任务信息，处于不同的管理范围和系统，使得数据中心一直基于铭牌功率来配置供电，且认为负荷刚性不可调，进而一直处于“电力跟随算力”的状态。纵观目前针对数据中心的能源管理研究，也主要把算力需求带来的电力负荷作为刚性负荷，把研究的焦点集中在供能系统等非服务器设备，重点关注配置储能、优化供冷系统调节等。其实，细观数据中心用电结构就会发现，服务器才是耗电“大户”，以PUE值为1.3的数据中心为例，服务器耗电占比77%。因此，寻找调节服务器的算力和电力负荷的方式，将能发挥出数据中心的巨大电力灵活性潜力。PUE=数据中心总能耗/IT设备能耗PUE，PowerUsageEffectiveness的简写，是评价数据中心能源效率的指标、数据中心消耗的所有能源与IT负载消耗的能源的比值。其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗。PUE值大于1，越接近1表明非IT设备耗能越少，即数据中心能效水平越好。同时，数据中心作为数字化技术的核心节点，数字化与自动化基础较高，与电力相关的传感器数据采集、设备控制等也较为齐全。算力消耗的电力是由算力程序驱动电子元件的电力消耗，算力天然的可观、可测、可即时调节特性，使得实际上可以通过算力的调整达到服2白皮书数据中心算力-电力灵活性协同研究腾讯调研云务器在分钟级、秒级响应速度下的高精度电力负荷控制，而无需额外增加任何硬件。这使得数据中心在电力灵活性调节上具备天然的技术可行性。从政策导向看，为了激励各级、各类用户积极实施需求侧响应，电网根据发出响应邀约到需求侧实际执行响应的时间尺度，已将响应分为日前响应、小时响应、分钟响应、秒级响应等模式，并针对不同类型的响应模式，给予容量(kW)和能量(kWh)补偿。比如，在试点省份浙江，对电力需求响应电能量补偿费用高达4元/kWh10，远高于数据中心等平均不到1元/kWh的工商业电价11。因此，数据中心以及数据中心的用户，通过进行需求侧响应，在为电网提供电力灵活性的同时，也可为自身带来可观的额外收入，将成为数据中心发挥其电力灵活性的强大动力。基于此，在新能源发电渗透率不断提高，用户侧需求响应逐步常态化，电力调频、调峰、备用等辅助服务逐步开放的今天，也促使我们思考如何在数据中心提升电力灵活性上迈开步伐，促进数据中心作为丰富的用户侧电力灵活性资源，助力新型电力系统建设。针对这一主题，腾讯、英特尔、中国电信携手，关注数据中心服务器负载的电力灵活性，提出通过判断计算任务在服务器上的算力-电力特征，在不影响业务运行的情况下，降低用电部件的实时冗余性、调整业务负载的时间分布和并行规模，从而达到降低、平移、伸缩数据中心服务器的用电负荷，形成“算力跟随电力”的特性，展现出如下优势：•数据中心数字化程度高，可秒级响应并精准跟随指定负荷•无额外硬件购置成本•适合任意大小的数据中心、集群和服务器针对数据中心服务器负载的需求响应，国外已有一些相关实践。自2017年以来，谷歌已将每年的用电量100%匹配到可再生能源的采购中。2020年起，谷歌通过在数据中心运营中配置碳智能计算平台，使数据中心能够灵活地将计算任务转移到一天中的不同时段，来消纳更多的太阳能和风能等无碳能源。在此基础上，又基于电网对碳密集型能源依赖程度的日前预测，测定不同区域每小时无碳能源可用性，进而在全球不同区域的数据中心之间“转移计算”任务，让太阳能和风能等可再生能源使用“始终在线”，实现电力资源的优化匹配12。日本NTT公司在2011年，与英特尔合作，为应对震后电力供应紧张及政府限制企业用电要求，控制服务器功率上限与功耗。通过将高负载服务器的性能降低到90%，将数据中心峰值用电量降低了18%；通过将低负载服务器的性能降低到70%，将数据中心峰值用电量降低了16%；而且通过控制服务器的总功耗，可以在保证关键业务不暂停的情况下，在外部断电期间延长数据中心运行时间约1.8倍13。从上述案例可以看出，数据中心算力-电力的相互协同具有巨大潜力，而要主动构建数据中心的算力电力灵活性能力，核心控制点是在相3白皮书数据中心算力-电力灵活性协同研究数据中心负载服务器负载非服务器负载算力优化余热回收资源协同暖通/供电优化空间响应时间响应需求响应AI优化•在不影响任务表现的情况下，调节服务器功率•关注响应速度、响应深度、响应时长、响应精度蓝色为本研究关注重点图1数据中心低碳研究的主要对象和领域腾讯调研云•利用不同计算任务对服务器各硬件子部件的负载不同，而选择性降低非瓶颈子部件的功耗•包括硬盘密集型、内存密集型等任务应的时间尺度内，对计算任务、服务器颗粒度甚至其CPU、硬盘、内存等各子部件的颗粒度进行调节，在考虑业务性能和电力功率的联合优化目标下，通过将电力消耗纳入算力分配的考量，达到业务-算力-电力的三方资源协同。由此，在不影响业务表现的前提下，服务器算力的总弹性便成为数据中心可主动向电网提供的电力灵活性。系统化构建数据中心算力-电力灵活性方案通过系统化分析发现，数据中心通过算力调节进行需求响应，来提供电力辅助服务的实现策略有四种，分别是利用空载服务器功耗切换、利用服务器硬件资源消耗不均衡性、平移和伸缩实时性不敏感任务以及跨数据中心转移任务。针对前三项策略，腾讯、英特尔、中国电信共同合作，组建了横跨计算机硬件、计算机软件、数据中心运营、电力领域的专家和工程师，对数据中心算力-电力灵活性方案进行了探索。灵活性策略设计1.利用空载服务器在不同功耗状态之间切换从时间分布上看，数据中心中会有一部分服务器处于并未执行任何工作而空载备用的状态。因此，通过业务规模的精细预测，对服务器执行不同方式的功率降低和休眠策略，可实现不同级别的响应速度和响应深度。该策略可以长期运用，作为数据中心节能的重要途径，只是存在精细管理的成本与节能收益之间的平衡问题；也可作为响应策略，以电力辅助服务的优势价格，刺激数据中心精细预测和切换空载服务器功耗状态。图3利用服务器功耗状态切换的策略示意图2.利用计算任务在服务器硬件资源消耗上的不均衡性任何一个业务负载在服务器上的运行，会存在要么服务器能力有冗余，要么其CPU、网络、内存、硬盘等某子部件的某一性能使用密集，成为“短板”，而导致其余部件的能力产生冗余，即“长板”。降低冗余的子部件性能，可以在不影响业务负载运行效率的情况下，降低电力负荷。该策略需要研究一系列的特性数据，包括业务负载对于各子部件的压力特性数据、总体业务性能与子部件性能的关联以及子部件性能变化时的能耗特性数据，同时在执行响应时，还需要实时监测业务负载对于各子部件的实时压力数据，以便根据之前的特性数据集，及时做出电力负荷调整的位置和幅度策略。4白皮书数据中心算力-电力灵活性协同研究•对实时性不敏感的并行计算任务进行断点续算和扩缩容，快速改变电力负荷在时间上的分布•包括科学计算、视频渲染等独立/耦合型计算任务•服务器通过操作系统电源管理、外部PowerCap和软关机等方式，进行切换功耗状态•功耗状态之间的切换时间影响应用场景•通过将业务冷迁移或者热迁移到不同地理位置的数据中心，而改变多个数据中心的电力负荷在空间上的分布服务器功耗状态切换动态调节计算任务硬件资源性能调节跨数据中心转移任务可降低4%-100%功率可秒级灵活调节负荷分布可降低2%-26%功率改变数据中心电力负荷的空间分布1324CPU内存带宽硬盘网络GPU各部件默认供电业务实际所需供电数据中心数据中心数据中心图2探索数据中心服务器负荷灵活性的主要策略(蓝色为本研究关注重点)时间算力/负荷原始平移缩容伸缩腾讯调研云CPU内存带宽硬盘网络GPU各部件默认供电业务实际所需供电图4压缩计算任务在服务器子部件上的冗余性能的策略示意图3.利用平移和伸缩实时性不敏感的计算任务近年来，随着智慧城市、智能制造、自动驾驶、元宇宙等应用的不断增长，高性能计算(HPC)的需求也随之不断提升。影视渲染、效果图渲染等批量计算任务，基因测序、风机工况模拟等科学计算任务以及AI训练等可并行的计算任务，往往需要消耗大量的服务器资源和运算较长时间，已经成为IT行业节能减排研究的重要课题。这类任务往往具有计算成本敏感、实时性不敏感、计算规模可变动的特性。中国信通院发布的《数据中心白皮书(2022年)》显示14，2021年，全球数据中心市场规模超过679亿美元；而TrendForce报告中指出15，2021年全球HPC市场规模达约368亿美元，较2020年增长7.1％，并预估2022年增长率提升至7.3％。面对这一高速增长的需求，有专家警示道，并行算法和并行软件设计，必须考虑降低功耗和提高性能以应对高能耗问题16。对此，一方面可以通过实时传递价格信号，激励用户选择电力价格较低的时间段进行整体运算；另一方面，也可以通过断点续算、可续渲染技术，在计算任务执行的过程中暂停乃至对并行规模进行改变，来平移和升降电力负荷。时间算力/负荷原始平移缩容伸缩图5通过计算任务平移伸缩来实现电力负荷调节的策略示意图4.利用网络跨数据中心转移任务通过将业务冷迁移或者热迁移到不同地理位置的数据中心，而改变多个数据中心的电力负荷在空间上的分布，该策略需要较庞大的业务群及分布式计算存储业务架构予以支撑。数据中心数据中心数据中心图6通过跨数据中心转移计算任务来实现电力负荷调节的策略示意图前三个策略的实现需要业务-算力-电力三者的精准关联关系和协同，但能够适用于各种规模、形式的数据中心、机房、集群和服务器，也是本研究的重点。本项目搭建了一个服务器集群作为测试环境(具体软硬件配置和网络配置见附录)，运用了如下两类工具作为状态监测和功率调整工具，进行研究和测试：•英特尔®数据中心管理平台(Intel®DataCenterManagement,Intel®DCM)：该平台能够通过带外读取系统整体电力和关键服务器子部件的使用指标，高频率读取CPU及内存实时用电功率，同时其PowerGovernor模块中的PowerCap功能还能够提供精准至单核的CPU和内存功率毫秒级限制。•Linux系统工具：mpstat,free,iostat,nicstat,用于监测CPU、内存、硬盘和网络的使用状态信息。灵活性策略结果利用空载服务器在不同功耗状态之间切换的策略测试空载消耗对于单台实验服务器，在未运行任何计算任务的空载状态下，消耗电力功率215W，其中CPU消耗53%，内存消耗21%。5白皮书数据中心算力-电力灵活性协同研究腾讯调研云215W100%53%21%26%CPU内存其他图7实验中单台服务器空载时的功耗及分布测试流程：对空载状态服务器进行功耗状态切换在单机环境，测试了三类切换空载服务器功耗状态的方式：•将Linux功耗状态设置为freeze，并通过HMI唤醒；•通过Intel®DCM的PowerCap将CPU功率上限调节至最低，并通过解除设定来恢复功率；•输入系统命令shutdown，进行软关机，再通过电源按键启动。FreezePowerCap空载空载关机下发指令恢复指令图8测试策略流程图测试结论测试数据显示，通过切换服务器空载状态，三种模式皆可获得功率降低。其中，Freeze、PowerCap皆可秒级响应，功率降比分别为4%、27%；关机带来的功率降低最大，达100%，但切换开关机需要2.5分钟，额外消耗电量0.0083kWh。05010015020025002468101214161820FreezePowercapShutdown空载状态服务器功率(W)时间(分钟)空载状态省电指令下发恢复指令下发图9Freeze、PowerCap和关机三种方式下的功耗和响应特征曲线策略功率降低降低比例响应速度Freeze9W4%<1sPowercap57W27%<1s关机215W100%~3min表1测试结果表利用计算任务在服务器子部件消耗不均衡性的策略测试不同的程序、甚至单个程序运行不同功能时，在不同类型的服务器上成为“短板”的子部件都可能不同。为使得本项目的业务负载有一定的指标意义，本策略的测试中尝试选取一些尽可能对单一子部件形成压力的真实或模拟负载进行测试，从而体现其余子部件电力灵活性的最大可能。同时，也选取一些性能指标，来反映服务器功耗变化是否对业务负载的性能造成影响。对单一部件施加压力的负载并不代表不会对其他子部件造成压力，例如内存的读写操作不可避免地会带来CPU的运算操作。因此本项目中尽可能选取对单一部件压力最大、同时关联的其他子部件的压力尽可能小的模拟负荷，以窥斑见豹。实际数据中心中运行的程序，可以近似看做是这些单一模拟负荷的组合，从而近似预测出其电力灵活性。硬盘密集型任务测试负载Linux系统上的dd工具，能够用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。Linux系统设计的一个重要思想是“一切皆为文件”，硬盘设备对Linux系统来说属于块设备类型。dd命令可以帮助工程师直接读取或写入磁盘块设备文件。在本项目中，dd命令用于模拟一个硬盘I/O密集型的任务，对硬盘I/O造成压力。CPU网络硬盘GPU内存带宽图10测试负载对各子部件的压力特性图白皮书数据中心算力-电力灵活性协同研究6腾讯调研云白皮书数据中心算力-电力灵活性协同研究测试流程：通过dd工具持续向硬盘写入和删除文件，并逐步通过降低CPU功率从而降低服务器功率。采用单服务器，使用PowerCap对CPU进行不同功率水平的限制，并进行以下操作：运行dd命令向硬盘写入1个512MB大小的文件，重复三次，得到在不同功率水平下，在硬盘中写入三次同样的文件所消耗的平均时间及平均写入速度。硬盘复制1024x5MB文件并删除记录任务所用时间降低CPU功率图11策略测试流程图测试结论测试数据显示，在执行硬盘密集型任务时，可将CPU功率由215W压缩至160W，降比达26%，且对硬盘写入速度没有影响。所用时间(秒)总功率(W)010203040150160170180190200210220可压缩功率空间图12硬盘密集型任务的性能-电力特性曲线初始功率功率压缩值功率压缩比例215W55W26%表2测试结果表内存密集型任务测试负载memtester是Linux系统下的一款内存测试工具，可以帮助开发人员在用户空间下对内存进行压力测试。开发人员可以通过memtester限定测试内存的大小与次数，在指定的内存大小中进行随机值，异或等一系列测试。在本测试过程中，通过运行memtester模拟内存密集型业务负载。同时运行的memtester进程越多，内存带宽使用率就越高。CPU网络硬盘GPU内存带宽图13测试负载对各子部件的压力特性图测试流程：通过memtester工具，使得对内存带宽利用率维持在多个水平的压力，并逐步降低CPU功率。基于单服务器，执行Linux系统上memtester工具，使得对内存带宽利用率维持在74%、47%和28%三个压力水平。接着使用PowerCap对CPU进行逐步降低的功率限制，监测内存带宽利用率的变化。监测内存带宽利用率降低CPU功率Band74任务Band47任务Band28任务图14策略测试流程图测试结论测试数据显示，在执行内存密集型任务时，可对CPU功率进行压缩，当内存带宽占用率分别约为74%、47%、28%时，初始服务器功率各自为313W、278W和255W，可压缩的功率各自为18%、8%和2%，可以推论，对于内存I/O密集型任务，内存占用越高，而CPU功率可压缩空间越大。内存带宽利用率(%)功率可压缩空间020406080150200250300350band74band47band28服务器功率(W)图15内存I/O密集型任务的性能-电力特性曲线7腾讯调研云白皮书数据中心算力-电力灵活性协同研究初始功率功率压缩值功率压缩比例Band28255W6W2%Band47278W23W8%Band74313W57W18%表3测试结果表CPU密集型任务测试负载IntelLinpack是国际流行的用于测试计算机系统浮点性能的基准程序。通过对高性能计算机采用高斯消元法求解一元N次稠密线性代数方程组的测试，评价计算机的浮点性能。LinpackSMP版本在单节点上运行，在本测试中用于模拟单节点上的CPU密集型任务，任务的具体参数见附录。CPU网络硬盘GPU内存带宽图16测试负载对各子部件的压力特性图测试流程：运行LinpackSMP任务作为CPU密集型的任务，并逐步通过降低CPU功率而降低服务器功率，记录任务运行时间。基于单服务器，使用PowerCap对CPU进行不同功率水平的限制，进行以下操作：启动LinpackSMP任务，记录计算完成时的计算时长和Gflops指标。单节点LINPACKSMP负载记录任务所用时间降低CPU功率图17策略测试流程图测试结论测试数据显示，降低服务器功率时不存在任务完成时间不变的“平台区域”，当服务器功率从363W降为232W时，计算耗时从1,377秒增至2,303秒，表明通过控制CPU功率，降低服务器总功耗将相应降低任务执行速度。后续应探索针对服务器CPU之外的子部件的功率控制，如对内存、网络的功率控制，挖掘针对CPU密集型任务，压缩其余子部件硬件性能电力冗余对的潜力。10001400180022002600200250300350400所用时间(秒)功率(W)2600400350300250功率(W)2002200180014001000图18CPU密集型任务的性能-电力特性曲线(CPU功率调控)利用平移和伸缩实时性不敏感的计算任务策略测试如今许多并行计算类的任务具备了断点续算功能，有些应用程序本身就支持断点续算，而有些可以通过MessagePassingInterface(MPI)中支持断点续算的checkpoint/restart技术来实现。断点续算可保证任务随时可以被中断，并在重启后继续运算，而不是重新开始，从而在电力上支持将算力需求，也就是电力需求进行平移。在断点续算的基础上，如果应用软件还具有并行计算节点数可变的能力，则可以实现算力需求的随时扩容和缩容，达到电力需求的伸缩。并行计算通过将一个计算任务进行分解，形成在不同节点上并行计算的子任务。对于子任务相互独立的并行任务，并行效率能够达到100%，因此计算效率几乎不受并行节点的数量和网络的影响。而对于子任务耦合的并行任务，子任务间需要通过网络进行通讯和同步，从而除了计算任务本身的时间消耗，还会带来额外的通讯计算和等待的过程。本项目分别选取了子任务独立和子任务耦合两类并行计算任务，测试了其算力和电力的平移与伸缩性能。计算任务计算任务图19子任务独立与子任务耦合的并行计算任务8腾讯调研云测试结论测试数据显示，在2个节点上运行计算任务，耗时10分27秒，总功耗为118Wh；在2节点运行一段时间后中断任务，再将剩余的计算量缩容至1个节点续算，耗时13分49秒，总功耗123Wh；在2个节点运行计算任务，运行一段时间后中断任务，再将剩余的计算量扩容至3个节点上续算，总计算耗时9分54秒，总功耗125Wh。数据表明，对于可分配至计算节点独立计算的并行任务，可通过缩容、扩容、平移调整计算节奏，且不会显著影响总耗电量和总时长。此策略可根据电网响应邀约时段和负荷调节要求，灵活改变算力分布，达到“削峰填谷”。020040060080010001200功率(W)时间10’27’’13’49’’9’54’’118Wh123Wh125Wh3节点1节点2节点图22缩容、平移、扩容子任务独立型并行任务的负荷特征曲线子任务耦合型并行计算测试负载VASP(ViennaAbinitioSimulationPackage)是当下具备最广泛的国际认可度之一的材料计算模拟程序，在半导体芯片、量子物理等领域广泛使用。VASP作为一个优化计算程序，支持并行计算和断点续算18。因此在此通过对一个VASP任务在运行过程中的计算资源进行调整，达到伸缩该任务的电力负荷的目的。本测试中，使用一个VASP任务作为典型的子任务耦合型并行计算任务，任务详细参数请见附录。CPU网络硬盘GPU内存带宽图23测试负载对各子部件的压力特性图白皮书数据中心算力-电力灵活性协同研究子任务独立型并行计算测试负载对于汽车研发企业，白车身轻量化对提升整车的性能质量、节省制造成本具有重大意义，却是一个多变量、多目标、跨学科和计算代价昂贵的复杂决策优化问题。本测试中的优化问题，将前地板、外挡板等20个位置的料厚作为优化的设计变量，求解白车身在满足刚度性能前提下，结构轻量化和1阶模态性能的最优解。该优化问题通过UniXDE多学科设计优化软件17，进行分布并行计算，具体计算任务参数如附录所示。CPU网络硬盘GPU内存带宽图20测试负载对各子部件的压力特性图测试流程：在2~3台计算节点上分别按以下3种策略在UniXDE软件中执行一个白车身轻量化的优化计算任务，在计算中途改变计算节点规模，达到伸缩该任务电力负荷的目的，记录计算消耗时长。•基线：在2台计算节点上运行计算任务，一直到计算完毕；•缩容：在2台计算节点上运行计算任务，运行一段时间后中断任务，再将剩余的计算量在1台计算节点上续算，一直到计算完毕；•平移+扩容：在2台计算节点上运行计算任务，运行一段时间后中断任务，再将剩余的计算量在3台计算节点上续算，一直到计算完毕。缩容平移扩容2节点运算1节点运算中断记录功率和时长独立型并行计算任务2节点运算3节点运算2节点运算图21策略测试流程图9腾讯调研云白皮书数据中心算力-电力灵活性协同研究测试流程：执行VASP并行计算任务，在计算过程中进行断点续算和计算节点规模的改变，达到平移和伸缩该任务电力负荷的目的，记录计算消耗时长。•基线1：在2台计算节点上并行计算VASP任务，一直到计算完毕；•基线2：在4台计算节点上并行计算VASP任务，一直到计算完毕；•平移：在4台计算节点上并行计算VASP任务，计算一段时间后中断任务，等待一段时间，在4台计算节点上对中断的VASP任务进行续算，一直到计算完毕；•平移+缩容：在4台计算节点上并行计算VASP任务计算一段时间后中断任务，等待一段时间，在2台计算节点上对中断的VASP任务进行续算，一直到计算完毕。平移平移平移缩容4节点运算4节点运算中断中断记录功率和时长耦合型并行计算任务4节点运算2节点运算4节点运算2节点运算图24策略测试流程图测试结论测试数据显示，在2个节点上进行并行计算，耗时52分41秒，总功耗511Wh；在4个节点实施并行计算，耗时41分42秒，总功耗753Wh；在4个节点上平移计算任务，也就是并行计算一段时间后中断，等待一段时间，进行续算，总计算耗时37分7秒，总功耗623Wh；在4个节点并行计算一段时间后中断，等待一段时间，然后缩容至2个节点，对中断的任务进行续算，总计算耗时45分35秒，总功耗661Wh。这表明，子任务耦合型并行计算任务也可通过缩容、平移，来灵活调整服务器功率，但由于网络等因素的限制，算力和电力的扩缩容关系非线性。05001000150052’41’’41’42’’45’35‘’511Wh753Wh661Wh37’07‘’623Wh2节点4节点图25扩容、平移、缩容子任务耦合型并行任务的负荷特征曲线通过以上三种策略，我们证明服务器集群在运行不同IT任务类型时，可以通过切换空载服务器功耗状态、利用服务器子部件资源消耗不均衡性、平移和伸缩实时性不敏感任务等方式，在不影响任务表现的同时，实现对服务器功率的调整，可适用于各种规模、形式的数据中心、机房、集群和服务器。其中，策略一和策略二，可在业务无感知的情境下实现2%-27%的负荷深度降低，可常态化实现节能目的，显著降低数据中心整体能耗和电力费用。策略三可对如科学计算、视频渲染等实时性不敏感的业务进行平移、扩缩容，达到对服务器功率在时间分布上的人为控制。以上三种策略均显示服务器可根据外部指令实现秒级对服务器功率的快速控制，为数据中心参与需求侧分钟级、秒级响应，或参与电力辅助服务市场交易，提供了可行性依据。对下一步研究的启示本项目提供了一个在数据中心利用算力-电力协同进行需求响应，从而提供电力辅助服务的初步可行性研究，在测试的设计上不尽周全，在分析的过程中也仍有许多未知和值得深入探讨的问题，欢迎各领域的学者、专家、产业伙伴给予指教与建议。在形成一个数据中心算力-电力需求响应的成熟方案之前，无疑需要在更多的机型上对更加多元化的计算任务进行特性数据测试。除此之外，下一步的实验也需要将以下几方面纳入研究：•从CPU功率调控到内存功率调控：本项目中所使用的服务器内存配置较小，也未涉及运行非内存密集型的任务时限制内存功率的测试。而对于一些大内存机型，其功率可占到总服务器功率的40%以上，对于内存功率调控的研究就显得极其必要；10腾讯调研云白皮书数据中心算力-电力灵活性协同研究•从服务器到数据中心整体：本项目中的测试和监测对象只有服务器，尚未纳入交换机和制冷设备的关联影响，其中包括：-响应特性：当大量的服务器进行电力响应并持续一段时间后，很可能带来相关联的交换机和制冷设备的功率变化，从而形成系统型响应特征曲线；-策略组合：对于整个数据中心，可根据各个服务器的状态和执行的任务特性，采用不同策略的组合，从而获得整个机架、机柜、数据中心层级的负荷调节。•从物理机到虚拟化：本项目中的业务负载直接运行在物理机上，从而能够获得更直观的算力-电力的关联关系，而在实际业务环境中有相当多的数据中心和服务器进行了虚拟化和混部，这使得业务负载-算力-电力之间又多添加了虚拟化层和混部运行，增加了精细管理的复杂度，但同时虚拟化及其资源调度也为算力分布调整能力带来了更大空间；•性能指标的定义：本项目中的业务负载性能特性比较单一，而在实际运行业务中，有可能除了计算速度(消耗时间)之外，还包含稳定性、网络延迟等其他性能，需要与每一个业务负载的开发者和运营者进行具体探讨。未来展望由实验研究到应用解决方案：本项目对数据中心算力-电力协同进行电力灵活性响应的策略应用进行了初步可行性研究，已经展现出其巨大的潜力及广阔的应用前景。但是上述研究对每一种策略应用只选取了一两个工作负载且只在一种机型上进行了可行性验证，测试了特性数据。而要针对实际运行的数据中心进行电力现货交易，打造需求响应能力，并提供精准的电力辅助服务，无疑需要有一套自动化系统，集合业务-算力-电力三者的对应信息，具备监控、预测、响应策略规划组合和调节控制的四项能力，方能对服务器集群和其各子部件进行敏锐监测和灵活调控，进而实现协同响应。开放式协作与特性数据库：要对一个数据中心进行电力灵活性的预测和策略，需要不同负载在不同服务器以及其子部件(包括CPU、硬盘、内存等)的电力响应特性数据作为基础。然而逐个对其进行测试带来的巨大工作量，对于任何一方都难以承担。这就需要业务(程序)开发方、硬件生产商、业务运行方甚至硬件调度方(例如云或超算中心的运营商)开放式协作，制定和采用一套标准的测试方法、数据格式和数据共享网络来共同推进，进而加速实现智能管控计算负载，充分挖掘和发挥出数据中心的电力灵活性潜力，助力构建新型电力系统。11鸣谢协作、开放、可持续是技术创新的环境要素。本项目有赖于横跨计算机硬件、计算机软件、数据中心运营、电力等各个方向的同仁共同合作，在此特别鸣谢以下同仁在测试中的贡献(排名不分先后)。腾讯：周滢垭、童流川、许浩、苏鑫、梁家启、马国勇、邵明、赵传寓、朱健保、淮赛男英特尔：崔煜、朱晟伟、王爱喜、解强、史毅磊、华雯、古今、高阳中国电信：高清爽树优科技：赖宇阳、叶芳、方立桥、孙军勇、魏凯锋、孙敏浩腾讯调研云白皮书数据中心算力-电力灵活性协同研究附录1、英特尔绿色数据中心技术框架绿色数据中心目标•高压直流•分布式电池技术•高功率密度机架•集中式供电设计•48V供电架构•英特尔®片上集成电压转换控制技术•液冷整体解决方案•冷板方案•浸没式液冷设计指南/规范•冷板式液冷设计指南/规范•先进风冷设计指南/规范•定制化CPU的结/壳温考量•考虑热性能的硅片设计•DataCenterManagement•带内系统状态感知与AI运维•机柜功率钳制管理•英特尔®Turbo机柜技术•待机功耗优化技术•服务器状态感知•节点管理技术•英特尔®速度选择技术客户碳足迹与数据中心PUE计算(方法论,测试基准,工具,…)能效与功率密度数据中心层对政策与标准的影响机架层服务器层XPU层先进散热技术基础设施智能化2、测试环境软硬件配置表机柜2台服务器20台CPU型号：英特尔®至强®E5-2680V4处理器，35MCache,2.40GHzCPU颗数：2CPU总核数：28内存128G硬盘300G2HDD操作系统TLinux2.2(兼容CentOS7)3、测试环境网络配置图跳板机管理节点共享文件盘计算节点01计算节点20……交换机1带内管理，万兆光口网络交换机2带外管理，千兆电口网络12腾讯调研云白皮书数据中心算力-电力灵活性协同研究134、测试负载配置参数•利用计算任务在服务器硬件资源消耗上的不均衡性策略测试-CPU密集型任务本项目中使用的LinpackSMP参数如下：LinpackSMPDistirbutionxlinpack_xeon64Problemsize58608,120832LDA58608,120832不同ProblemSize会影响计算过程中内存的占有量，在本实验中使用了两种ProblemSize，但由于实验机型的内存功率相较于整体服务器功率较小，因此不同实验Linpack配置对于内存功率变化不明显，在分析中仅展示ProblemSize为58608的运行结果。•利用平移和伸缩实时性不敏感的计算任务策略测试：子任务独立型并行计算白车身轻量化问题在UniXDE多学科设计优化软件中进行优化流程的集成和软件调用计算，约束条件和目标函数设定如下表所示：机柜指标指标值约束条件门槛梁弯曲刚度<12811.5(N/mm)扭转刚度<5356.8(Nmm/°)优化目标1阶模态性能最大化白车身质量最小化计算设定迭代次数300种群规模100腾讯调研云白皮书数据中心算力-电力灵活性协同研究脚注和法律声明1IPCCAR6WGIII,ClimateChange2022:MitigationofClimateChange,20222中国气象局气候变化中心，《中国气候变化蓝皮书(2022)》，20223《第一财经》报道，《电力行业将于2030年左右达峰，碳减排需聚焦四个方面》，https://baijiahao.baidu.com/s?id=1726974026040997440&wfr=spider&for=pc4国家能源局，《电力并网运行管理规定》，20215国家能源局，《电力辅助服务管理办法》，20216中国银河证券研究院，通信行业深度报告《ICT“双碳”新基建，IDC温控新机遇》，2022，第8页7腾讯，《腾讯碳中和目标及行动路线报告》，2022，第3-4页8.9英特尔，《英特尔高效能数据中心白皮书》，2022，第5页10浙江省发展和改革委员会，《省发展改革委省能源局关于开展2021年度电力需求响应工作的通知》，202111工商业电价分峰谷平阶梯电价，平均电价不到1元/kWh12RossKoningstein，Wenowdomorecomputingwherethere’scleanerenergy，2021，https://blog.google/outreach-initiatives/sustainability/carbon-aware-computing-location/AnaRadovanovic,Ourdatacentersnowworkharderwhenthesunshinesandwindblows，2022，https://blog.google/inside-google/infrastructure/data-centers-work-harder-sun-shines-wind-blows/13Intel,DynamicallyControllingServerPowerConsumptionandReducingDataCenterPeakUsageby16to18Percent,2012,https://www.intel.cn/content/www/cn/zh/software/ntt-data-case-study.html?wapkw=日本NTT14集微网，《信通院：2022年全球数据中心市场收入将达746亿美元》，https://ijiwei.com/n/81596815集微网，《TrendForce：全球HPC市场2021年市场规模约368亿美元》，https://it.sohu.com/a/549946824_16668016新华网，《并行计算有望迎来黄金时代》，https://baijiahao.baidu.com/s?id=1663363753086849955&wfr=spider&for=pc17UniXDE是树优(宁波)科技有限公司自主研发的国产多学科仿真优化工业软件，提供CAE多物理场仿真协同、多学科设计优化、多专业仿真数据管理和多领域工业APP应用开发等功能。18VASP执行计算的输入包括四个文件:INCAR,KPOINTS,POSCAR,POTCAR。其中POSCAR记录了原子位置，而VASP在执行计算过程中会输出CONTCAR文件，此文件会保存经过VASP优化计算的更新的原子位置。因此本测试中VASP的断点续算功能，是通过在中断后删除最初的POSCAR文件，而将中断前的CONTCAR作为POSCAR，与其他三个输入文件共同提交计算从而达到续算。本白皮书的发布方包括腾讯公司、英特尔、中国电信。发布方并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。描述的成本降低情景均旨在在特定情况和配置中举例说明特定发布方的产品或技术如何影响未来成本并提供成本节约。情况均不同。发布方不保证任何成本或成本降低。发布方描述的技术特性和优势取决于系统配置，并可能需要支持的硬件、软件或服务得以激活。产品性能会基于系统配置有所变化。没有任何产品或组件是绝对安全的。更多信息请从原始设备制造商或零售商处获得，或请见发布方官网。预测或模拟结果使用发布方内部分析或架构模拟或建模，该等结果仅供您参考。系统硬件、软件或配置中的任何差异将可能影响您的实际性能。描述的产品可能包含可能导致产品与公布的技术规格有所偏差的、被称为非重要错误的设计瑕疵或错误。一经要求，我们将提供当前描述的非重要错误。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。©英特尔公司版权所有腾讯、腾讯标识以及其他腾讯商标是腾讯公司注册商标。腾讯公司版权所有。腾讯调研云