多主体数据中心算力-电力跨域协同优化丁肇豪新能源电力系统全国重点实验室华北电力大学ECE2024华北电力大学NORTHCINAELECTROCPOWERUNVERSiTV目录1研究背景2关键挑战和创新点3模型方案4算例分析5结论与展望ECE2024华北电力大学NORTMCHNAELECTROCPOWERUNVERSITY3.53.132.532.6932.520001500100010.5020152016201720182019全国数据中心用电量(亿千瓦时)→ChatGPT每天需要响应约1.95亿次查询请求，预计每天进行推理的耗电量为564兆瓦时，一年约消耗2.06亿干瓦时电力。据波士顿咨询公司预估，到2030年，仅美国数据中心的电力消耗就将达到390太瓦时，约占美国全社会用电量7.5%。第3贡共23页670520426.8314.52261661241000201620172018201920202021全国数据中心在用机架数(万架)>数字经济时代的到来，数据中心已经成为支撑社会经济发展的重要新型基础设施，其能耗巨大，且占比持续增长。>特别是以ChatGPT为代表的生成式人工智能的兴起，引发了数据中心能耗的新一轮飙升。10079722800ChatGPT-4ChatGPT-5100000500001287ChatGPT-3ECE2024华北电力大学NORTHCHNALLECTPCPOWERUNVLRS/TY研究背景202020212022数据中心用电量占比%1.941.781.86ChatGPT模型训练能耗(MWh)500-400-3002002.432.353000250020227005000研究背景>数据中心处理的计算任务类型多样，在线任务和离线任务具有不同计算特性，在时空多维度展现出灵活性。调度后计算任务处理完成时间离线离线任务任务到达时间时间转移截止时间■时间灵活性——离线任务处理时间长，对数据和资源依赖性强，异地转移难度大，可在满足服务水平协议(SLA)前提下适当推迟执行。■空间灵活性——在线任务需要实时响应，时间延迟敏感，但多为轻量级计算，可以在不同地理位置数据中心间转移。ECE2024数据库服务(SQL)大语言模型训练机器学习华北电力大学NORTMCNALLECTPCPOWERUNVERS/TY网页服务流式计算电商业务第4页共23页南邮啤面窗ChatGPT研究背景>CloudOrchestration技术的发展为不同主体云运营商的开展合作提供了技术基础，使得多云数据中心能够实现在跨域市场信号(电力侧、算力侧)的引导下，协同调度任务并异地执行。从而可以改变数据中心能耗，降低整体运营成本，实现数据中心间资源的余缺互济，释放更大程度的灵活性。任务转移Dockerswarn7安kubernetes/AlibabaCloud节点电价16.96$/MWhkubernetes/节点电价23.28$/MWhECE2024华北电力大学NORTHCHNAELECTRUcPONERUNVERSITY节点电价25.96$/MWh第5页共23页AWS关键挑战1:大规模计算任务调度大规模计算任务调度：准确、高效的任务调度是多云协同优化的基础。然而，计算任务具有大规模、高并发和复杂依赖关系等特性，使得数据中心任务调度面临强随机、非线性和NP-hard问题。并发任务数≥10万集群规模≥10万提交QPS数≥5万CPUUnitsRequestedTimeJob2Job.1大规模、高并发特性复杂依赖关系NP难问题EnqueueJobJobDequeueSlotsRequestedTmeJobJob.:Memory异构任务-异质资源匹配ECE2024华北电力大学NORTHCHNAELECTPoCPONERUNVERSITY计算任务执行拓扑关系计算资源占用嵌套约束Batches∠SlotsTimeBatches∠UnitsTime第6页共23页关键挑战2:多云隐私安全保护>多云隐私安全保护：集中式协同调度需要所有数据中心都具有可见性和可控性。然而，分属不同主体的数据中心间存在潜在的商业竞争关系，对核心数据、调度策略等关键操作信息具有严格的隐私保护要求。部分/加密/匿名信息共享数据挖掘反推本地信息商业机密数据中心1数据中心2数据中心3需要对关键数据进行隐私安全保护ECE2024运行数据卷积神经网络特征提取华北电力大学NORTHCHNAELECTRECpONERUNVERSITY共享原始数据易带来商业机密泄露的风险关键数据A资源使用信息调度管理策略第7页共23页业务信息多主体个性化决策：数据驱动是支撑数据中心大规模任务调度的有效方法。然而，不同主体的调度决策、任务到达模式等信息差异显著,使得数据集呈现非独立同分布特性，导致最终个体决策偏离最优解。关键挑战3:多主体个性化决策多云数据中心的环境异质性导致数据非独立同分布非独立同分布数据学习易偏离最优点用户群体固调度策略图计算任务节点电价数据集分布AibshaCoudECS16...