1数据中心绿色设计白皮书ODCC-2023-02001[编号ODCC-2023-02001]数据中心绿色设计白皮书开放数据中心标准推进委员会2023-06发布I数据中心绿色设计白皮书ODCC-2023-02001版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。II数据中心绿色设计白皮书ODCC-2023-02001编制说明本报告由开放数据中心委员会ODCC牵头撰写，并在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位：参编单位（排名不分先后）：中国信息通信研究院、深圳市腾讯计算机系统有限公司、维谛技术有限公司、深圳绿色云图科技有限公司、华为技术有限公司、阿里云计算有限公司、浪潮集团有限公司、曙光信息产业股份有限公司项目经理：张一星zhangyixing@caict.ac.cn杨硕yangshuo@caict.ac.cnIII数据中心绿色设计白皮书ODCC-2023-02001前言随着新一代信息技术的蓬勃发展与广泛应用，数字产业的赋能作用进一步凸显，数据中心作为数字经济“底座”，在经济社会发展中扮演着至关重要的角色。截至2022年底，我国在用数据中心机架总规模超过650万架，能耗总量达1300亿千瓦时。在“碳达峰碳中和”大背景下，我国正积极推动引导数据中心均衡布局、高效节能发展，工信部、发改委等部门发布《新型数据中心发展三年行动计划》、《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》等多项政策，提出到2025年，全国新建大型、超大型数据中心平均电能利用效率降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上。绿色设计对于从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向具有重大意义。本《白皮书》梳理了全球及我国数据中心机架规模和PUE水平，从国家和地方层面分析了数据中心绿色节能政策和已发布的数据中心能效标准，指出了数据中心绿色发展面临的诸多挑战。本《白皮书》详细阐述了数据中心绿色设计的理念和基本要素，总结了数据中心IT设备、供电系统、制冷系统、监控系统的绿色设计先进技术和方案，并给出了数据中心绿色设计优秀案例。相关技术和方案将为数据中心在建设、运行、改造的全生命周期采用绿色设计提供参考，促进数据中心产业整体绿色低碳高质量发展。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系dceco@caict.ac.cn。IV数据中心绿色设计白皮书ODCC-2023-02001内容概览1.全球新增数据中心规模稳定，伴随数据中心节能改造建设的边际效益递减和数据中心能效改善效果不佳，全球数据中心PUE呈现小幅波动总体缓慢下降趋势。国内外互联网巨头持续探索数据中心绿色节能技术，部分超大型数据中心PUE接近极限值。2.我国数据中心总体规模持续增长，大型规模及以上数据中心成为增长主力，数据中心能耗总量与碳排放规模体量不容忽视。我国高度重视数据中心绿色发展，国家和地方层面均出台了一系列指导意见和工作方案，引导数据中心布局均衡和绿色低碳发展。3.我国数据中心产业在能耗方面面临诸多挑战，如老旧小数据中心能效管理水平低、新建数据中心绿色节能技术应用不佳、现有数据中心能耗监测系统不健全等，且当前针对数据中心节能新技术的相关标准仍不完善。为帮助数据中心产业从源头上构建绿色生态，《白皮书》给出了数据中心绿色设计的定义与内涵，引导数据中心在设计阶段综合考虑各类资源能效指标，达到资源支出成本最低、碳排放量最少、对环境影响最小。4.数据中心绿色设计包含单系统绿色设计、环境与能源耦合绿色设计、风火水电与IT系统耦合绿色设计三个层次，针对IT设备、供电系统、制冷系统、监控系统等不同维度的多样化绿色设计先进技术方案，可有效帮助数据中心实现全生命周期节能降耗和绿色低碳。5.PUE值是当前评价数据中心绿色设计方案是否先进有效的核心指标，为促进产业各方实践应用绿色设计方案，用低PUE创造高效算力，《白皮书》给出了腾讯、维谛、网宿&绿色云图、华为等企业的优秀数据中心PUE设计方案，对推进数据中心产业整体绿色高质量发展提供有益借鉴。V数据中心绿色设计白皮书ODCC-2023-02001目录版权声明.............................................................................................................................................I编制说明............................................................................................................................................II前言...................................................................................................................................................III内容概览...........................................................................................................................................IV图目录............................................................................................................................................1表目录............................................................................................................................................1一、数据中心绿色设计发展背景..................................................................................................21.数据中心能耗现状....................................................................................................22.数据中心能耗政策标准分析....................................................................................53.数据中心绿色发展面临的挑战................................................................................9二、数据中心绿色设计的理念和基本要素................................................................................111.数据中心绿色设计..................................................................................................112.绿色设计理念..........................................................................................................123.绿色设计原则..........................................................................................................124.绿色设计目标..........................................................................................................12三、数据中心绿色设计先进技术和方案....................................................................................131.IT设备.....................................................................................................................132.供电系统..................................................................................................................173.制冷系统..................................................................................................................204.监控系统..................................................................................................................26VI数据中心绿色设计白皮书ODCC-2023-02001四、数据中心绿色设计优秀案例................................................................................................271.腾讯仪征数据中心设计PUE方案..........................................................................272.维谛广州数据中心设计PUE方案..........................................................................273.网宿&绿色云图上海数据中心设计PUE方案........................................................284.华为贵州数据中心设计PUE方案..........................................................................281数据中心绿色设计白皮书ODCC-2023-02001图目录图1全球服务器年增加量（兆瓦）........................................................................................2图2全球互联网巨头数据中心运行PUE水平接近极限值...................................................3图3我国数据中心机架规模....................................................................................................4图4我国超大型、大型数据中心能效情况............................................................................4图5我国数据中心耗电量（亿千瓦时）................................................................................5图6CPU冷板和GPU冷板.....................................................................................................14图7IT机柜的演进..................................................................................................................17表目录表1数据中心能效等级指标....................................................................................................9表2风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比..........................................242数据中心绿色设计白皮书ODCC-2023-02001一、数据中心绿色设计发展背景1.数据中心能耗现状1)全球发展现状全球数据中心新增相对稳定。按照全球服务器年增加量统计，2015年-2021年全球年新增投入使用服务器规模相对稳定，净增加值也相对稳定，预计未来几年数据中心规模仍将保持平稳增长，具体见图1。来源：Gartner、中国信息通信研究院图1全球服务器年增加量（兆瓦）2006年开始，随着互联网快速发展，全球数据中心规模高速增长，数据中心能耗与日俱增。封闭冷热通道、提高出风温度、优化供配电设备效率、充分利用自然冷源等绿色节能技术不断推广应用，数据中心能效管理从粗犷发展进入精细管理，全球数据中心总体能效水平快速提高，平均PUE从2.7降低到2013年的1.8左右，呈现快速下降趋势。2014年以来，全球数据中心PUE呈现小幅波动总体缓慢下降的趋势，一方面数据中心节能改造与建设的边际效益逐步降低，进一步提高能效需要投入更多成本，另一方面，部分传统数据中心负载率不高、绿色管理不到位等造成数据中心能效改善效果不明显，2021年全球数据中心平均PUE约1.57。3数据中心绿色设计白皮书ODCC-2023-02001互联网巨头仍坚持探索数据中心绿色节能新技术，新建数据中心PUE基本在1.4以下，部分超大型数据中心接近极限PUE，Facebook美国Prineville数据中心PUE低于1.08，谷歌Berkeley数据中心年均PUE达到1.111，百度云计算（阳泉）中心1#模组PUE达1.08，阿里巴巴浙江云计算仁和数据中心PUE达1.09。未来随着中小数据中心整合改造和大型化数据中心建设趋势，全球数据中心平均PUE预计将进一步降低。同时，谷歌、苹果等公司已通过购买可再生能源证书（RenewableEnergyCertificate）的方式实现所有数据中心采用100%可再生能源，进一步降低了数据中心碳排放。来源：互联网资料整理、开放数据中心委员会ODCC图2全球互联网巨头数据中心运行PUE水平接近极限值2)国内发展情况根据信通院最新统计数据，我国数据中心机架规模平稳增长，大型以上数据中心成为增长主力。据统计，2013年以来，我国数据中心总体规模快速增长，截至到2022年底，我国在用数据中心机架总规模超过650万架，近5年年均复合增速超过30%，算力总规模为180EFLOPS（FP32），算力规模排名全球第二。1数据来源：企业官网https://www.facebook.comhttps://www.google.com4数据中心绿色设计白皮书ODCC-2023-02001其中，大型以上数据中心机架规模增长较快，按照标准机架2.5kW统计，机架规模超540万架，占比超80%。来源：中国信息通信研究院图3我国数据中心机架规模截至2022年底，全国在用超大型数据中心平均PUE为1.36，大型数据中心平均PUE为1.42，最优水平达到1.02。全国规划在建数据中心平均设计PUE为1.32左右，超大型、大型数据中心的平均设计PUE分别为1.28、1.29。来源：中国信息通信研究院图4我国超大型、大型数据中心能效情况5数据中心绿色设计白皮书ODCC-2023-020012021年我国数据中心能耗总量为1116亿千瓦时，碳排放量超过7000万吨。2022年我国数据中心能耗总量1300亿千瓦时，同比增长16%，预计到2030年，能耗总量将达到约3800亿千瓦时。若不使用绿色能源，碳排放总量将突破2亿吨，约占全国总碳排放量的2%。来源：中国信息通信研究院图5我国数据中心耗电量（亿千瓦时）2.数据中心能耗政策标准分析1)政策分析我国积极推动引导数据中心布局均衡、绿色低碳发展，从国家到地方发布了一系列关于数据中心高效节能的政策文件。(1)国家层面政策国家层面高度重视数据中心行业绿色发展，近十年来发布了一系列相关指导意见和工作方案。2013年，工信部等发布《关于数据中心建设布局的指导意6数据中心绿色设计白皮书ODCC-2023-02001见》，引导大型、超大型数据中心优先在中西部等一类、二类地区建设。2017年，工信部发布《关于加强“十三五”信息通信业节能减排工作的指导意见》，提出到十三五末期，新建大型、超大型数据中心的PUE值达到1.4以下。工信部联合国管局、国家能源局于2019年2月发布《关于加强绿色数据中心建设的指导意见》，再次提出到2022年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的PUE达到1.4以下。为落实国务院《“十三五”节能减排综合工作方案》，推动数据中心的节能减排，国家发改委联合工信部等七部委于2019年6月发布《绿色高效制冷行动方案》，提出“加快制定数据中心能效标准，实施数据中心制冷系统能效提升工程”。2020年7月，工信部等六部门联合组织开展国家绿色数据中心推荐，选择一批能效水平高、技术先进、管理完善、代表性强的数据中心进行推荐，引导数据中心完善PUE、WUE的监测与管理，加大绿色技术、绿色产品、清洁能源的使用，进一步提高能源资源利用效率。近年来，为贯彻落实网络强国、数字中国、国家大数据和碳达峰碳中和战略，国家不断强调数据中心绿色高质量发展的重要性。2020年12月，国家发展改革委等四部委联合发布《关于加快构建全国一体化大数据中心协同创新体系的指导意见》，提出加强全国一体化大数据中心顶层设计，再次要求“加快制定数据中心能源效率国家标准”，提出“到2025年，大型、超大型数据中心运行电能利用效率降到1.3以下”。2021年，“十四五”规划和2035远景目标中指出“推动5G、大数据中心等新兴领域能效提升”。2021年5月，国家发展改革委等四部委发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》，提出“在京津冀、长三角、粤港澳大湾区、成渝，以及贵州、内蒙古、甘肃、宁夏等地布局建设全国一体化算力网络国家枢纽节点，发展数据中心集群，引导数据中心集约化、规模化、绿色化发展”。2021年11月，国家发改委等四部门发布《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》提出“到2025年，数据中心和5G基本形成绿色集约的一体化运行格局。数据中心运行电能利用效率和可再生能源利用率明显提升，全国新建大型、超大型数据中心平均电能利用效率降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上。”7数据中心绿色设计白皮书ODCC-2023-02001(2)地方层面政策热点地区筑高建设门槛控新增，强化技术引导提能效。一线城市业务需求旺盛但电力资源紧张，受能耗指标、用地、用电审批限制，批复难、建设难、扩容难，供给不足、供不应求。各地相继出台政策以缓解供给侧的结构性矛盾，规避旺盛需求刺激下数据中心“粗制滥造”建设的风险。2018年，北京市更新《北京市新增产业的禁止和限制目录》；2020年6月，北京市发布《关于加快培育壮大新业态新模式促进北京经济高质量发展的若干意见》及《北京市加快新型基础设施建设行动方案（2020-2022年）》；2021年4月，《北京市数据中心统筹发展实施方案（2021-2023年）》提出“新建云数据中心PUE不应高于1.3”，并相继发布《北京市发展和改革委员会关于进一步加强数据中心项目节能审查的若干规定（征求意见稿）》、《北京市发展和改革委员会北京市经济和信息化局关于印发北京市低效数据中心综合治理工作方案的通知》，持续加强数据中心能效治理。上海市接连发布《上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划（2018-2020年）》、《关于加强上海互联网数据中心统筹建设的指导意见》、《上海市互联网数据中心建设导则（2019版）》、《上海市互联网数据中心建设导则（2021版）》；2020年发布《数据中心能源消耗限额》强制性地方标准，对数据中心能耗提出限制要求；2022年6月，上海市经济信息化委、上海市发展改革委联合发布《关于推进本市数据中心健康有序发展的实施意见》，提出“加速升级改造小散老旧数据中心，加快数据中心绿色节能发展”；上海市通信管理局发布《新型数据中心“算力浦江”行动计划（2022-2024年）的通知》，要求“新建大型及以上数据中心应达到绿色数据中心评估要求，绿色低碳等级达到4A级以上，提升绿色能源利用水平，加快“小散老旧”数据中心改造升级”。深圳市发布《深圳市发展和改革委员会关于数据中心节能审查有关事项的通知》，要求数据中心重点用能单位应建设能耗在线监测系统，按要求接入广东省重点用能单位能耗监测平台。广东省发布《广东省5G基站和数据中心总体布局规划（2021-2025年）》。8数据中心绿色设计白皮书ODCC-2023-02001热点周边地区谋划提升引需求，提高服务能力接外溢。为缓解热点地区数据中心供不应求的结构性问题，河北、天津、内蒙古、江苏、广东等热点周边地区纷纷出台政策激励数据中心快速发展，着力培育、提升承接热点地区外溢需求的能力。河北省2020年3月发布《关于加强重大项目谋划储备的指导意见》，围绕绿色循环低碳发展谋划项目为重要组成部分；2020年10月发布《关于支持数字经济加快发展的若干政策》，提出“降低数字基础设施运营成本，优先支持数据中心参加电力直接交易，鼓励可再生能源电力和火电打捆与数据中心开展交易”；2021年12月，河北省发布《信息化与工业化深度融合发展“十四五”规划》，提出“建设形成张家口、承德两个低时延数据中心核心区和廊坊、保定等若干数据中心集聚区，推进雄安城市计算（超算云）中心建设。”。天津市2019年10月发布《促进数字经济发展行动方案（2019—2023年）》；2021年8月，《天津市加快数字化发展三年行动方案（2021—2023年）》要求“统筹规划超大新型绿色数据中心建设”。内蒙古自治区2020年1月发布《内蒙古自治区人民政府关于推进数字经济发展的意见》。2021年11月，《内蒙古自治区人民政府办公厅关于印发自治区“十四五”工业和信息化发展规划的通知》要求“到2025年，全区大型数据中心平均PUE值降至1.3以下，寒冷及极寒地区力争降到1.25以下。”。江苏省2020年5月出台《关于加快新型信息基础设施建设扩大信息消费若干政策措施的通知》；2021年8月，《江苏省“十四五”数字经济发展规划》要求“构建绿色高效的算力基础设施”。中西部地区鼓励找准定位促发展。西部地区能源充足、气候适宜，但距离热点地区用户较远，部分省份数据中心供大于求。青海省2018年3月出台《关于进一步扩大和升级信息消费持续释放内需潜力的实施意见》，指出要培育和打造立足本省、面向全国的云计算数据中心与灾备中心；2020年5月，《青海省人民政府办公厅关于加快推动5G产业发展的实施意见》要求“推进区域数据中心建设”。甘肃省2019年11月出台《关于支持丝绸之路信息港建设的意见》，提出建设物理分散、逻辑统一的信息港绿色云数据中心集群；2021年9月，《甘肃省“十四五”数字经济创新发展规9数据中心绿色设计白皮书ODCC-2023-02001划》提出“引导传统数据中心升级改造，向规模化、集约化、智能化、绿色化方向布局发展”。湖北省2020年4月出台《关于加快推进重大项目建设着力扩大有效投资的若干意见》，鼓励投资谋划一批大数据中心；2021年11月，《湖北省数字经济发展“十四五”规划》提出“推动大数据中心绿色化发展，加快新一代绿色数据中心节能技术应用”。江西省2020年4月出台《数字经济发展三年行动计划（2020-2022年）》，强调加快推进大数据中心项目建设，打造国内领先的公共云计算平台；2021年2月，《江西省国民经济和社会发展第十四个五年规划和二〇三五年远景目标纲要》要求“完善能效领跑者制度，落实国家5G、大数据中心等新兴领域能效标准”。2)标准分析GB40879-2021《数据中心能效限定值及能效等级》于2021年10月11日发布，2022年11月1日实施，标准文件中明确将数据中心能效等级分成3级，1级表示能效最高，各能效等级数据中心电能比数值应不大于表中的规定。表1数据中心能效等级指标指标能效等级1级2级3级数据中心电能比1.201.301.50数据中心能效等级的判定应同时满足以下两个条件。一是数据中心电能比的设计值、特性工况法测算值和全年测算值（如有）均符合表1相应等级的规定。二是数据中心电能比的特性工况法测算值和全年测算值（如有）应小于设计值的1.05倍。其中，数据中心电能比设计值是总耗电量和信息设备耗电量的规划设计值的比值，特性工况法测算值是按5个特性工况点方法测算的数据中心电能比，全年测算值是按全年耗电量测算的数据中心电能比。3.数据中心绿色发展面临的挑战我国数据中心产业在能耗方面目前主要存在以下问题：10数据中心绿色设计白皮书ODCC-2023-020011)老旧小数据中心能耗较高，能效管理水平有待提升随着国家政策的引导，大型数据中心逐渐重视起绿色节能，能效水平不断提高。但是很多中小、老旧数据中心对能效管理缺乏认知，运维管理水平差，节能技术应用不足，仍以较高能耗水平维持着日常运行。数据中心IT设备耗电转换为大量热能，为了将这些热量带走，不少老、旧、小数据中心的制冷设备耗能占比高达30%-50%，PUE维持在2.0以上。2)新建数据中心绿色节能技术应用不佳，运维能力不达要求在技术落地和实施方面，部分数据中心没有充分利用优越的气候条件进行免费自然冷却，冷冻水供回水温度设置不合理，使得数据中心实际运行PUE远高于设计值，尤其在二三线城市更为明显。在运维管理方面，数据中心的设备数量大、种类多，对应的监控管理系统功能性能满足不了实际需求，缺乏集中式统一管理，导致运维管理任务繁重，运维管理能力无法保证数据中心高效的运行，绿色管理水平差。3)现有数据中心能耗监测系统不健全现有的数据中心能耗监测系统对系统的监控和数据采集不够全面，部分数据中心只关注局部系统或者一些核心部件的性能和功耗水平，部分数据中心只关注数据中心总体能耗和IT能耗，多个数据中心无法准确、全面、多维、立体反映出整个数据中心的功耗分布情况。此外，现有的数据中心能耗监测系统五花八门，缺乏统一的监控管理规范，精度、点位等需要进一步优化。数据中心缺乏完善的能耗数据，难以实现资源的高效利用和优化配置.4)数据中心节能新技术相关标准不完善目前我国数据中心节能降耗方面已有部分标准基础，但针对节能规划设计、设计能效评估、节能改造以及节能评估和验收等方面的标准仍需完善。另一方面，为支撑新技术新业务的快速发展，数据中心产业需要达到更高的技术要求，数据中心不断加快技术创新和市场响应速度，以满足不断变化的业务需求。相11数据中心绿色设计白皮书ODCC-2023-02001应的，数据中心出现的大量新技术和新产品也需要标准和规范的研制和完善，保障新技术的应用和落地效果。二、数据中心绿色设计的理念和基本要素1.数据中心绿色设计设计是人类所有目标创新实践活动的先导和准备，是从源头和供给侧创意设置目标、引领系统集成创新、保障目标顺利实现的关键。绿色设计可从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向。我国数据中心已经迈入成熟发展阶段，设计已经不仅由设计师参与设计，而是设计方、设备厂商、第三方服务商、互联网用户等共同参与，尤其是互联网用户，在过去十年，为行业贡献分享了大量的绿色创新设计及相关实践案例，第三方服务商在绿色设计方面也已处于前列，数据中心绿色设计已经进入众创时代。数据中心绿色设计指的是在设计阶段制定促进数据中心绿色发展、落实国家双碳战略的技术路线、时间表和目标函数，具体来说，在保障数据中心安全可靠的前提下，现阶段数据中心设计主要考虑PUE、CUE和WUE等资源利用效率指标，使这些指标满足国家和地方政策法规及标准要求，并减少企业运营能源支出。未来的绿色设计将朝着数据中心建设、运行服务、改造等全生命周期范围发展，综合考虑各类能源指标，达到资源成本最低、碳排放最少、对环境影响最小，实现自然资源可持续发展和数字经济发展的协调统一。数据中心绿色设计可从三个方面实现。一是单系统的绿色设计，如供配电系统、制冷系统和IT系统，供配电系统选择转换环节更少、损耗更小、效率更高的产品方案，制冷系统选择可靠性更高、能效水平更高、自然冷却比例更高的运行方案，IT系统选择绿色节能产品。二是环境与能源耦合的绿色设计，结合数据中心选址和当地的气候条件，充分发挥自然冷却的优势，合理利用太阳能、风能等可再生能源。三是风火水电和IT系统耦合的绿色设计，根据数据中心功率密度选择配套的供配电方案和制冷方案，提高整体资源利用效率。12数据中心绿色设计白皮书ODCC-2023-020012.绿色设计理念数据中心绿色设计目标实现可分成近期和远期两个阶段，近期主要以基础设施如供配电系统、冷却系统等为绿色设计主体，远期可在基础设施基础上，纳入IT算力，也就是实现单位算力基础上的资源使用效率最大化和环境影响最小化，这样可以确保近期可操作、远期有发展。数据中心绿色设计主要从业务等级、选址、资源效率以及节能控制等方面规划。鉴于设计的时效性和超前性，也就是设计受当下政策、技术、环境等方面制约，可能并不满足设计完成后的政策和行业又新增的标准和要求，故绿色设计评价一般有当期属性。3.绿色设计原则在碳达峰碳中和大背景下，绿色低碳是数字新基建的使命，也是算力基础设施建设运营的主旋律。数据中心绿色设计原则主要是安全可靠、绿色低碳、高效等几个方面。安全可靠是数据中心运行的基本保障，必须保障供电和制冷可靠性，才能保障业务安全不中断运行；绿色低碳是数据中心绿色设计的主要原则，也是数据中心绿色设计的主要目标，重点考虑高效节能用电设备、高效冷却系统、可再生能源、清洁能源使用等方面的设计，也包括环保等方面的考虑；高效方面，主要从电能容量比、空间使用效率等客观资源使用方面进行高效设计，也是数据中心集约化建设、最大化应用的未来趋势。4.绿色设计目标确保数据中心的业务可靠性等级、运行SLA的目标等级；尽可能地满足甚至优于PUE能效指标要求，并考虑能效余量；最大化考虑全生命周期的特点，各个阶段均满足PUE能效要求；推荐采用主流建筑和设备节能技术、高效的工程设计、智慧节能控制和联合运行等技术，主动建立能效监测系统来不断优化。在设计阶段最大化满足PUE能效指标要求，可避免后期复杂繁琐的改造工作，保护设计成果也保护业主投资。因此绿色设计尤其是节能设计，要在能效13数据中心绿色设计白皮书ODCC-2023-02001可靠取值（同等工况权威第三方评估报告的能效值、同类案例权威第三方机构的测试数据）基础上，采用适度超量设计获得能效余量（适度超量，在经济性和未来的能效满足上求得较好的平衡），确保设计阶段理论能效和建设、运行阶段的差异可控，目前可按10%余量适度。三、数据中心绿色设计先进技术和方案1.IT设备(1)高密度服务器数据规模的持续增长及土地、电力资源集约化发展推动高密度数据中心发展。在过去很长一段时间，为了满足不断增长的用户数据处理需求，数据中心主要是通过增加空间，扩大机架和服务器规模来提供更多算力，但是这也会导致数据中心运营成本的增加和数据中心场地空间的浪费。发达地区日益紧张的土地资源及电力资源使得以扩大服务器规模来提升算力水平的数据中心建设模式难以开展，建设高密度数据中心成为推动数据中心算力水平、提升数据中心效率的重要举措，高密度数据中心能够进一步增加数据中心功率密度和数据中心“每平方米”的计算能力，能够更好地满足大数据场景下的计算与存储需求。高密度服务器部署显著提升数据中心单位面积算力，降低数据中心运营成本。建设高密度数据中心的关键是部署高密度服务器，与传统服务器不同，高密度服务器电源和风扇以共享方式进行设计，位于同一机箱内的多台服务器节点可以共享电源和风扇。一方面降低了机体的重量和空间占用，提升数据中心单位面积算力，另一方面能够提升电源和散热系统的使用效率，降低数据中心运营成本。IBM、思科、华为、浪潮、曙光等国内外知名的互联网硬件厂商纷纷加速推进高密度服务器的产品设计与市场布局。(2)液冷服务器近来年，液冷服务器的使用数量和客户接受度不断提高，是基于液冷服务器具有高效散热、节能降噪和高密部署等优势。14数据中心绿色设计白皮书ODCC-2023-02001高效散热：液冷解决高功率芯片的散热问题，突破风冷散热瓶颈。风冷容易产生局部热点，芯片长时间高温运行，影响芯片性能和使用寿命。液冷可维持芯片低于临界温度10℃~20℃稳定运行，释放芯片最大计算潜能，延长芯片使用寿命。节能降噪：液冷服务器核心发热部件散热通过冷却液体循环排到机房外，可大大降低机房内制冷压力，节省数据中心空调用电。液冷数据中心PUE在1.3以下，起到很好的节能效果。同时，服务器内部对风扇要求也降低，可以实现风扇低转速运行甚至无风扇，降低设备噪音。高密部署：传统风冷服务器散热片占据一定高度，芯片功耗越高，散热器高度也越高，服务器的高度也需要随之调整。液冷服务器使用液冷散热片，对空间的要求降低，可实现高密度设计，提高了数据中心内设备部署密度，降低数据中心TCO。综上所述，因为液冷服务器能为客户带来多方面收益，各服务器厂商也都在布局液冷产品。国内厂商如曙光、浪潮、联想、宁畅、华三都有布局液冷服务器。液冷服务器机型主要包括高密度CPU计算型液冷服务器、GPU液冷服务器、机架式液冷服务器等。技术路线以冷板式液冷2和浸没式液冷居多。通过优化冷板内铲齿厚度、高度、间距等参数以及流道设计，获得最优散热效果。冷板材质一般选择导热性较好的金属，如铜、铝等，选用铜质较多。图6CPU冷板和GPU冷板2开放数据中心委员会ODCC.《冷板式液冷服务器可靠性白皮书》15数据中心绿色设计白皮书ODCC-2023-02001(3)整机柜数据中心本身是一个能量冷热交换的载体，既需要大规模蓄冷，也同时产生大规模热能。想要降低碳排放量和提高能源利用率，关键还是在于节能增效，利用技术措施、管理措施等减少碳排放。以服务器为例，当把每一台服务器作为单节点独立运作，从整体数据中心层面来看收益基本为零，当单节点的维度提高到机柜层级，将集中供电、一体化交付、高密度部署这些进行统一规划时，就可以获取更高的收益，以集中供电为例，平均单节点能耗优化12%。当将规划维度进一步提高到数据中心层面，将数据中心层面的供电、交付、部署、组网、制冷综合考虑，将会收获到最佳的综合收益。而事实上，超大规模数据中心运营商以及云服务厂商（CSP）正是通过这样的实践来降低综合运营成本，提升产品竞争力。通过集中供电技术把原本离散的电源进行池化。原本通用服务器离散供电的冗余要求是1+1，以20节点为例需要40颗PSU进行供电，且PSU之间无法实现负载均衡，当服务器负载较低时，电源的转化效率处于较低水平。当通过整机柜的形式将电源进行池化后，整机20个节点可以采用N+1或N+2（N+M）冗余模式，大幅减少PSU总数。同时池化后的PSU之间可以实现负载均衡，结合动态PSU节能调节技术，在整机柜负载较低时，关闭多余的PSU，始终使得PSU保持在高转化率的负载下，效率更高。所以，通过集中供电技术可以降低整个TCO的整机柜的成本，且提升交付效率。随着摩尔定律的逐渐失效，研究发现散热对现代电子系统是一个挑战，温度每升高1摄氏度电子器件的寿命缩短5%，散热还直接影响电子系统的功率输出和能耗，同时面对云计算、AI、5G和IoT的快速发展，可以感受到算力在增加，AI技术使单个芯片功耗在增加，系统功耗也在增加。所有数据中心实现低碳不得不面临的另一大难题，就是散热。过往整机柜通常采用风扇墙集中式散热，这样的好处是每一个单独的节点不需要独立的风扇，随着风扇数量的减少，节省出来的空间可进一步增加设备数量，降低整体的成本。但随着业务越来越复杂，服务器所承载的应用越来越多样化，一台机柜中往往运行多种业务类型，发现以往风扇墙以3-4个节点为一组进行散热，风扇的功耗会以节点组中最大16数据中心绿色设计白皮书ODCC-2023-02001功耗进行运作，同时风扇墙的模式也降低了整机柜的灵活性，当在搬迁的时候必须得机柜整体搬迁，无法抽出单节点独立运作。所以，为了这类解决问题，把风扇进行了内置采用节点式单独散热，将节点和散热进行解耦，易于搬迁。同时节点中内置风扇可以按照单节点的实际功耗调整风扇速率，保证散热效率，降低TCO。(4)高算力碳效服务器数字经济时代，算力是数字经济发展的基础设施和核心生产力，随着数据的爆炸式增长，算法的复杂程度不断提高，对算力需求越来越高。算力即计算能力，核心是CPU、GPU、NPU、MCU等各类芯片，具体由计算机、服务器、高性能计算集群和各类智能终端等承载。对数据中心而言，服务器是算力的主要载体。数据中心在进行服务器设备选择时，为确保设备可提供业务需要的算力资源，注重计算性能指标已成为共识。但随着国家越来越重视“碳中和碳达峰”战略，服务器产品作为运营过程中核心的IT设备，其生命周期的碳足迹对总体运营温室气体排放控制至关重要，在设备选型时兼顾产品碳排放量也成为趋势。如何在计算密集型工作负载和低能耗运行的矛盾之间找到解决方案，如何在满足技术需求的基础上尽可能降低碳排放，业界在服务器设备选型时开始逐渐考虑算力碳效。高算力碳效服务器是服务器使用周期内，产生的碳排放与所提供的算力的比值相对较小的一类服务器，这类服务器的特点是单位算力的碳排放量较少。随着服务器性能的提升，碳排放总量呈上升的趋势，但性能提升的速度超过碳排放增加的速度，单位算力的相对碳排放在降低3。若厂商根据业务需求，如不同计算场景（高性能计算、边缘计算、智能计算、通用计算等）、不同架构（X86架构、ARM）、不同负载（存储、内存、CPU要求），选择算力碳效高的服务器，则可保证数据中心的绿色低碳效益。3开放数据中心委员会ODCC.《数据中心算力碳效白皮书》17数据中心绿色设计白皮书ODCC-2023-020012.供电系统1)电气集成化设计(1)电力模块在数据中心中，其供电系统是整个数据中心的咽喉，是基础设施中最重要的组成部分之一。当前数据中心常见的几种不间断供电技术包括ACUPS、HVDC（240V/336V/48V）和市电直供+BBU等。一般根据数据中心建设等级的要求，采用不同的冗余供电模式，比如2N模式，DR模式，RR模式等。未来数据中心的快速发展，对供电系统的可靠性、节能性、可持续性等提出更高的要求，供电技术和模式向着模块化、预制化、智能化、精简化等方向创新演变。当前国内外的数据中心行业，根据各自的具体需求，提出并实践了很多有特点的供电新技术，如华为、维谛的电力模块，阿里巴巴的巴拿马电源等。深度融合是电力模块的演进方向。随着数据中心服务器芯片算力的持续提升，IT机柜单柜平均功率将很快从6~8kW提升到12~16kW。据测算，当IT机柜功率密度达到16kW/柜的时候，配电间和IT空间的面积比例甚至可达到1：1，如何保证IT的出柜率，持续降低电力模块的占地成本成为迫切需要解决的问题。通过将UPS输入输出配电与UPS深度融合，减少电力模块链路节点，在产品架构上极简来省占地，将是电力模块演进的方向。图7IT机柜的演进智能化成为安全和运维的关键手段。电力模块统一的智能管理系统，可以有效提升电力模块系统的安全性，由本地智能管理系统和智能网管组成，本地18数据中心绿色设计白皮书ODCC-2023-02001智能管理系统硬件由变压器的温控器、低压柜/馈线柜的柜级监控单元、UPS主控把各柜信息通过智能插座汇入ECC主控；ECC主控统一监控汇总，在本地PAD上统一显示电力模块各单元的电流、电压、频率、电能、谐波、负载率、开关状态、UPS状态、各节点温度，供用户本地直观的识别系统运行状态；同时ECC把信息上报给网管，供网管显示3D视图、电压电流电能等运行参数、链路图及故障影响分析、开关在线整定、开关健康度预测、UPS电容/风扇寿命检测、各节点温度预测及AI异常预警、图像AI识别等智能运维特性，能够实现智能运维，变被动维护为主动运维，在提升系统安全性的同时也尽可能的提升了系统运维效率。巴拿马电源柔性集成了10kV的配电，隔离变压，模块化整流器和输出配电等环节，采用移相变压器取代工频变压器，并从10kVac到240Vdc整个供电链路做到了优化集成。该方案具有高效率、高可靠性、高功率密度、高功率容量、兼维护方便等特点。比传统数据中心的供电方案，占地面积减少50%，其设备和工程施工量可节省40%，其功率模块的效率高达98.5%，架构简洁可靠性高。蓄电池单独安装，系统容量可以根据需求进行灵活配置。巴拿马电源优势：一是高可用性。巴拿马电源在240V/336VHVDC系统的基础上，又进一步精简低压AC的配电环节，平均无故障时间相比240V/336VHVDC系统又提升大约27%（以华东某机房为例：巴拿马电源系统平均无故障时间是14年，而传统240V/336VHVDC系统为11.5年）。二是效率高。巴拿马电源由传统变压器改为移相变压器，省掉功率因数调节环节，移相变压器的效率为99%，整流调压部分的峰值效率为98.5%，整体峰值效率可达到97.5%。(2)智能UPS智能UPS和HVDC将逐渐取代传统UPS。对供配电系统而言，很多事故都可以通过早期的精密监控和智能算法来提前识别预防，而非等到器件损坏、模块故障或系统失效后再被动告警，这种主动预测性维护是不间断电源智能化的核心，即变被动告警为预测性维护。从解决方案看，智能UPS技术以及HVDC将是不间断电源的未来发展趋势。19数据中心绿色设计白皮书ODCC-2023-02001智能UPS节能技术：新一代UPS设备需具备极高的运行效率，满足数据中心进一步节能减排的需求，具备动态在线模式的UPS，即一种逆变器兼做有源滤波器的UPS，其包括旁路装置、市电转换装置、直流转换装置、逆变器、控制装置，用于检测旁路电压频率并基于所述旁路电压频率生成旁路模式信号或者主路模式信号的旁路判断装置，可在确保设备可靠性的同时，显著提高运行效率。动态在线模式在静态旁路的基础上增加了有源滤波功能，该模式下逆变器作为有源滤波器实时动态在线，配合静态旁路上的电能调制单元，使系统能够满足相当大范围的电网和负载电能调节需求。当无功负载或非线性负载连接到UPS并且存在谐波或无功电流时，UPS中的逆变器能够起到有源滤波器的作用来进行补偿，并且仅消耗部分电能来补偿电路干扰，在实现提高系统电能质量的同时，实现高达99%的最高效率，且供电无任何间断。AI技术与UPS的结合：该技术可加强UPS持续输出满足应用要求的高供电质量，同时亦可实现高达99%平均运行效率的节能。此外，高压直流技术在供电可靠性、供电安全性、可扩展性、运行控制效率、谐波污染等方面具有明显的优势。而传统UPS系统串联设备多，易引起单点故障，冗余度增加了安全保障，但同时也导致系统效率较低、成本过高的问题，并且传统UPS系统维护不易，扩容难度大，制约了业务的进一步发展。高压直流系统的使用，精简优化数据中心供配电架构，减少了供配电变流装置的数量及损耗，提高了数据中心电能使用效率。但直流供电系统的投入使用还存在产业生态、设备标准等问题有待进一步优化解决。支持储能系统的UPS系统：随着国家对节能政策逐步推行，UPS电源储能技术在优化分配资源、低碳能源利用方面将发挥越来越重要的作用。随着锂离子蓄电池等储能设备技术的不断进步和制造成本的降低，以及国家和各地区能源政策的鼓励和支持，国内储能市场快速兴起。UPS不间断电源系统具有成熟稳定、高性价比、易于维护和安全可靠等特点，采用具有储能功能的UPS设备打造高效低成本储能系统，通过综合电能利用，实现储能收益最大化。具有储能功能的UPS设备在具有传统机型电源后备时间、改善电网电能质量的同时，可根据不同行业场景，灵活管理峰谷电价差，有效降低系统电费；20数据中心绿色设计白皮书ODCC-2023-02001并可根据政策要求，系统执行园区需求侧响应并获得补贴；对于特定用户，可通过系统动态扩容，降低整体增容费用；根据用户实际能源构成，灵活与光伏、风能等可再生能源组成混合供电系统，提升系统可靠性。不间断电源将在保障供电可靠性同时朝节能模式发展。工频机UPS在能效上的局限已经掣肘了行业向低碳绿色方向发展，随着IGBT技术的突破，UPS行业在近十年来不断从工频UPS朝高频UPS发展，解决了传统工频UPS体积大、效率低、维护难、可用性差等问题，发展至今可以说工频UPS已基本退出市场。数据中心行业的绿色低碳发展要求推动UPS不断提升能效，当前UPS系统的最高效率点普遍达到96%，高性能UPS效率达到97%，相比于传统UPS效率提升3%-5%，以1台400kVA的UPS为例，效率每提高1%，在其10年的寿命周期内节省的电费约35万元，这些白白损耗的电能产生热散发出来，还要额外消耗制冷系统的功率，因此高效UPS仍是未来的发展方向。3.制冷系统绿色设计整体方案是指在数据中心设计阶段对数据中心主要架构的选择，在制冷系统方面，如风冷DX空调系统、水冷冷水机组系统、蒸发冷却系统、新型氟泵系统、液冷系统等。整体制冷设计方案的选择对数据中心的绿色设计有重要且不可替代的影响，是决定数据中心PUE下限的重要因素。在选择整体设计方案时应充分综合考虑数据中心所在地区的气候特点、水资源供应情况、数据中心规模以及IT功率密度。1)整体设计方案(1)风冷DX空调系统风冷DX空调系统主要是通过风冷DX精密空调对数据中心进行制冷，其主要特点是设备构成简单、部署灵活，能够满足低功率的制冷需求。风冷DX空调的蒸发器在数据中心机房室内，为服务器和网络机柜提供冷量；冷凝器放置于21数据中心绿色设计白皮书ODCC-2023-02001室外，与环境空气进行换热。冷凝器形式较为多样化，可与采用一对一，也可采用集中布置方式。(2)水冷冷水机组系统水冷冷水机组系统主要构成包括水冷冷水机组、冷冻水泵、水冷型末端精密空调、室内风机、冷却水泵、冷却塔、板式换热器，其主要特点是系统较为复杂、设备种类多、需要部署集中式冷站。水冷冷水机组系统利用水冷冷水机组或者板式换热器制取冷冻水，冷冻水通过末端水冷型精密空调给机房散热。根据制取冷冻水方式的不同可分为三种工作模式：完全机械制冷、部分自然冷却以及完全自然冷却。完全机械制冷模式完全依靠冷水机组制取冷冻水，一般在夏季开启。如果经过板换后的冷冻水出水温度不能低于供水温度的要求，则需要打开机械压缩制冷机进一步给冷冻水降温，相当于利用了部分自然冷源，这就是部分自然冷却模式，一般在春秋等过渡季时开启。如果经过板换后的冷冻水出水温度达到供水温度要求，则不需要完全打开机械压缩制冷机给冷冻水降温，全部利用室外自由冷源，这就是完全自然冷却模式，一般在冬季低温节开启。(3)蒸发冷却系统蒸发冷却技术是利用水蒸发冷却原理，采用直接蒸发或者间接蒸发的方式获得冷风的技术，可以分为直接蒸发冷却技术和间接蒸发冷却技术。直接蒸发冷却系统是（AHU）是指空气与雾化的水直接接触，由于水的蒸发，空气和水的温度都降低，而空气的含湿量有所增加，将降温后的冷空气直接引入数据中心对服务器和网络机柜进行冷却。直接蒸发冷却系统具有风量大、温差小，冬季加湿效果好等优点，但是该技术也有一定的局限性，在露点较低的地区使用该技术会带来不必要的除湿费用，而且对室外空气的直接引入也会导致室内湿度分布不均匀以及细颗粒物和污染物带入等问题，需采用过滤器对新风进行过滤，因此在使用该技术时，必须充分考虑当地的空气质量以及气候条件等因素。直接蒸发冷却技术已经在一些地区得到了应用，并取得很好的效果。22数据中心绿色设计白皮书ODCC-2023-02001间接蒸发冷却是指将直接蒸发冷却得到的湿空气或循环水的冷量通过非直接接触式换热器传递给待处理的空气，实现空气的等湿降温。间接蒸发冷却是通过各种类型换热器来实现的，其主要类型有管束式、板式、热管式等形式。间接蒸发冷却技术具有效率高、安全性好、不易堵塞等优点。(4)新型氟泵系统新型氟泵系统结合了间接蒸发、风冷、氟泵、热管（冷媒自身的相变功能）的各自优势，通过不同的送风方式对数据中心进行制冷，其主要特点是设备构成简单，部署相对灵活，能够满足中高功率的制冷需求及中大规模数据中心的需求。新型氟泵系统可以是户外一体机、一拖一、一拖多等多种型式，在自然冷季节，可完全启动重力热管方式进行制冷。(5)液冷系统现在的机架功率和单机架功率密度都在不断增长，传统的服务器风冷散热方案已经不能满足散热需要，先进的液冷技术开始在各个数据中心进行广泛应用。液冷技术可以将数据中心的空气用液体进行替代，在替代过程就可以将各个发热器件运行中所产生的热量带走等。目前液冷技术主要分为冷板式、浸没式和喷淋式三种。其中，浸没式和喷淋式液冷等为接触式液冷，冷板式液冷为非接触式液冷。冷板式液冷技术可以不直接接触冷却对象就将热量带走，该技术是通过高效热传导部件来对热量进行发散；浸没式液冷技术属于直接冷却技术，该技术使用的冷却液能够隔绝元器件产生的电气，通过和发热器件进行直接接触就可以带走热量；喷淋式液冷技术通过改造IT设备，部署适量的喷淋器件，在设备运行中，可以针对热量过高的器件进行冷却。液冷技术具有制冷能效高、节约水资源和机房空间的优势，因此，有条件的数据中心开始应用液冷技术进行降温。应用液冷技术进行降温，不再需要配置风扇、空调末端和冷冻机组，也不需要安装架空地板和冷热通道设施，和传23数据中心绿色设计白皮书ODCC-2023-02001统的制冷技术相比，液冷技术不需要占据很大的机房空间，可以将节省的机房空间用来布置更多的IT设备，从而提高了企业的经济收益。此外，液冷技术突破了气候条件和地域的限制，可以在全国任何地区进行应用，即使是华南、华东等温度高的地区也可以应用液冷技术进行冷却，最终促使数据中心的制冷电力消耗大幅度降低。(6)余热回收数据中心服务器在运行的过程中，产生大量的余热，这些余热有着易提取、热源充足等特点，利用热泵技术将数据中心余热回收利用，在数据中心有着广泛的应用前景，尤其是在我国北方地区，可有效帮助用户降低用热成本。现阶段我国IDC行业的节能重点主要集中在绿电的应用、空调系统的节能减排、IT系统的降耗等方面。伴随着数字经济的发展，数据中心的规模和数量都呈现出快速增长的趋势。更大规模、更多数量的数据中心建设，将有更多的设备，产生更多的余热，这些余热如果能被加以利用，可以加速数据中心“碳中和”。现阶段大多数据中心采用风冷降温，相较于液冷数据中心，风冷数据中心余热收集及运输难度较大，成本较高。液冷系统携带热量介质为冷却液，流动性强、品味较高、方便运输，相对于风冷系统，投资成本较低，利用率较高，更适合余热回收利用。液冷系统余热回收系统可选择接入液冷系统一次冷却循环系统或二次冷却循环系统提取余热，也可选择与液冷系统串联或并联的运行方案，对余热可采取提质利用或直接利用两种类型，对余热提质利用的方式又包括热泵系统、光热系统、电辅助加热、锅炉辅助加热等4。进行系统设计时宜充分考虑综合利用光热、地热等清洁能源，以及与周边建筑、园区协同建立余热回收利用体系的可行性。4开放数据中心委员会ODCC.《浸没式液冷数据中心热回收白皮书》24数据中心绿色设计白皮书ODCC-2023-02001(7)总结从各地区气候差异和水资源供应情况的角度，绿色设计需要从业务角度分析，业务种类会影响服务器的运行温度，从而影响设计方案，同时考虑同样构架在不同地区的适用性和PUE表现。风冷DX空调设备构成简单、部署灵活，适用于对能效要求不高且规模较小的数据中心；水冷冷水机组设备种类多、系统较为复杂、运维难度大，其根据季节变化调整系统运行模式，可最大化利用自然冷源，适用于对能效要求较高且自然环境适宜的大规模数据中心；蒸发冷却机组尤其是直接蒸发冷却机组适用于数据中心室外空气洁净度好、常年温度较低的场景，能够做到极致的节能效果，需具体到当地甚至是园区的空气质量分析，且其运维难度较复杂；新型氟泵系统设备构成简单，部署相对灵活，集成了蒸发冷却、主动热管、风冷等自然冷却技术，适用于能效要求高的数据中心；液冷技术不仅能够满足数据中心高密度、低能耗的发展需求，还将驱动数据中心内的各种配置和部件进行创新，其可支持约30kW高功率密度，而传统机柜仅支持10kW左右，液冷技术对设备和冷却液安全性要求极高，适用于能效要求高的数据中心。表2风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比类别风冷DX空调水冷冷水机组蒸发冷却新型氟泵液冷能效较低较高高高高CLF0.25-0.50.12-0.40.11-0.250.06-0.180.05-0.15适用机柜功率中低中中低中高中高安全性独立系统，安全性高需备份以提升安全性对气候条件/空气要求高安全性高对设备和冷却液安全性要求极高运维难度简单复杂较复杂简单简单适用规模小大小/大小/大小/大2)局部优化设计25数据中心绿色设计白皮书ODCC-2023-02001(1)气流组织优化设计气流组织是数据中心冷却的首要问题，如果规划不好，数据中心在实际使用过程中会出现气流组织不均匀、局部热点等问题，从而影响机房的整体排热效果，并带来更多能源消耗。气流组织优化设计是对机房不通畅、不合理的气流组织进行规范、优化，防止气流回流、掺混、紊乱，确保机房内的气流有序、有组织地从服务器带走热量，提高空调系统送风的有效使用效果，从而降低机房空调的运行费用，降低PUE。作为对数据中心IT设备冷却的最终环节，气流组织的优良决定了冷却的效果和效率。经过不断的优化和改良，气流组织正从房间级逐步向行间级、机柜级、服务器级的方向推进。目前数据机房空调的送风方式有侧送侧回、上送下回、上送上回、下送上回及顶送顶回等多种方式。经研究表明：顶送顶回方式是最佳送回风方式，下送风方式比上送风更有利于机房的气流组织和提高送风效率，根据传统机房建设情况，数据机房空调送风大多采用地板下送风方式，但随着对服务器本身认识的逐渐加深，其它气流组织方式会不断催生，既要满足设备本身的需求，也要满足人员参观、操作维护等舒适性要求。气流组织优化的方式之一是冷热通道隔离封闭，近年来大型的数据中心，尤其是中高密度的数据中心优先热通道封闭（如背板、列间、风墙），同时冷通道加装隔离门（如列间）。在满足机房温度条件的情况下，气流组织优化后，通过合理提高机房内的设定温度，进而提高制冷系统的送风温度，是减小制冷设备能耗的有效方法之一。研究表明，随着蒸发温度的提高，制冷机组性能增大，且蒸发温度每提高1℃，机组COP约提高3.3%。(2)细化设计颗粒度细化设计的颗粒度，针对不同类型的机房采用不同的制冷方式，可进一步提升数据中心总体能效，如核心网络包间可采用氟泵精密空调解决制冷效率问题等。加装氟泵技术主要应用在风冷直膨式空调机组上，系统由氟泵、蒸发器、26数据中心绿色设计白皮书ODCC-2023-02001冷凝器以及管路阀门等组成，与原专用空调配套使用，组合成两套不同的制冷循环模式：压缩机制冷模式和氟泵制冷模式。在夏季或室外温度较高的过渡季节，空调机组运行在压缩机制冷模式，制冷剂吸收机房的热量蒸发，在压缩机内加压后排入冷凝器冷凝液化，此时压缩机开启；在冬季或室外温度较低的过渡季节，空调机组运行在氟泵制冷模式，蒸发器中吸收机房热量后的制冷剂，直接进入风冷冷凝器与室外冷源换热，冷凝成液态后，在氟泵的作用下克服管道阻力回到蒸发器，此时压缩机关停，从而达到节能效果。4.监控系统通过数字孪生技术，在设计阶段对整个数据中心或局部区域的能耗进行分析，同时反馈模拟运行的PUE，利用机器学习等AI技术实现运行优化，达到极致最低PUE。近些年智能系统越来越被人们所重视，智能系统不能只是一系列规则或预设模型的综合体；它至少应具备一定的自适应学习能力，能够基于数据驱动进行学习、能够基于算法求解进行优化决策的智能体，实现负荷预测、系统仿真、算法优化等。负荷预测系统运行调节的目的是为了让后续运行更加高效，它是面向未来负载工况的调节，而非基于当前或过去负载进行调节。对未来一段时间的负载进行可靠预测，就成为运行调节的基础前提。如果调控所面向的未来一段时间负载比较稳定，则可以用当前采集到的负荷作为估计值，用于进行节能调控；如果未来一段时间负载存在较明显波动，则需要基于一定的预测算法或策略进行估计。通过负荷预测，可以为系统运行策略推荐合适的时机，避免盲目进行系统模式切换；通过负荷预测感知未来一段时间的负荷走势，可以用于实现系统智能化的在线调节，实现系统运行的“无人驾驶”。系统仿真模型运行调节的目标是让所选择的能效指标达到最大化，当一组设定参数给定后必须要有一个系统仿真模型，用于评估出其性能好坏。系统仿真模型，可以是基于物理机理的模型，也可以是数据驱动的模型，还可以是二者混合的模型；一般要求具有一定的自适应性，以保持模型的准确性。仿真模型的建模方式有很多种，总的目标是为了模拟实现系统的真实性。在设计阶段，27数据中心绿色设计白皮书ODCC-2023-02001业界目前普遍利用CFD（ComputationalFluidDynamics，计算流体动力学）来模拟未来的热量分布，从而实现如调整制冷设备设置（如空调送风角度、温度、大小等）、机柜上架规划、冷热通道设计、设备选择乃至服务器配置等操作，提前制定优化控制策略和应对方法，避免局部热点及送风不均衡，提高用电效率，助力绿色设计。四、数据中心绿色设计优秀案例1.腾讯仪征数据中心设计PUE方案行业领先的技术架构、节能高效的设备选型、敏捷灵活的智能运维体系，将数据中心年平均设计PUE控制在1.25以下。腾讯仪征数据中心设计方案采用多项技术措施来提升能源利用率降低PUE。供配电系统设计方面，末端供电形式采用HVDC高压直流+市电直供的供电架构，兼顾HVDC供电可靠性和市电供电高效性，系统综合供电效率可达98%，比双路高压直流节能2%以上，比双路UPS节能6%以上。HVDC采用模块化设计，开启智能休眠模式后可大大提高轻负载下的系统效率。同时采用能效更高的变压器等设备，在设备布局时，将变压器深入负荷中心部署，尽量缩短配电路由，进一步降低电力损耗。制冷系统设计方面，采用间接蒸发制冷空调方案，分布式部署，相对于传统集中冷却系统，具备更好的可靠性。同时得益于间接蒸发制冷技术可以充分利用自然冷却，在运行能效方面也有优秀的表现，相对于传统的冷却系统运行CLF预计可降低0.05以上。按照仪征当地气候条件，年完全自然冷却时间占比可达64.3%。全年平均CLF低至0.1125。运营优化方面，通过完善的智能化运维系统，根据不同的室外环境和业务负载率情况去动态调整各个设备的运行状态，进一步降低数据中心能耗，提高电力利用效率。2.维谛广州数据中心设计PUE方案该数据中心采用智能动态在线UPS、间接蒸发智能热管空调满足南方高温地区数据中心能效要求。供配电系统设计方面，设置UPS不间断电源装置，为运营商机房、机房精密空调、BA控制和安防设备等重要负荷提供AC220/380V28数据中心绿色设计白皮书ODCC-2023-0200150Hz的不间断电源保障。IT设备用的UPS系统电池后备时间按满足单N系统设计负荷15分钟（2N30分钟）配置。IT设备用的空调负载用UPS保障供电，UPS系统电池后备时间按满足设计负荷15分钟配置。制冷系统设计方面，采用新型氟泵系统N+1（N≤5）配置，各房间按照冷负荷单独设置空调，互不影响。模块机房和低压配电室等负荷较大的房间，空调系统加带氟泵，形成风冷氟泵系统，在过渡季节和冬季，根据房间负荷的变化降低压缩机出力，启用氟泵给制冷剂提供足够循环动力，从而达到节能的目的。同时在屋面设置水喷雾系统，在夏季或需要加强自然冷却时间时使用。精密空调直接由UPS系统及柴油发电机保证，市电断电后，可以不间断运行。末端精密空调的EC风机为无级变速，由UPS保障可不间断运行。所有精密空调均需自带双电源切换装置。3.网宿&绿色云图上海数据中心设计PUE方案上海全浸没式液冷机房，拥有“DLC浸没式液冷技术”，具有自主知识产权的定制化液冷节能系统及系列技术。供配电系统设计方面，采用不间断电源+市电直供的模式。IT设备的不间断电源采用了高压直流的供电系统，进一步提升了电源转化效率。动力负荷的不间断电源采用了国际领先的UPS选型，实际工作中采用ECO模式，可以让效率高达99%。实际的测试中，当外市电出现不稳定的时候，可以在2ms切换到正常的逆变模式。最核心的节能措施是机柜的冷却技术是拥有自主专利的浸没式液冷技术。液冷机房冷却系统设计原则是充分利用室外自然冷源，减少压缩机电制冷的方式获得冷却水介质。结合如上原则，充分利用液体自身高效换热特性，可将直接接触服器的冷却液和常规冷却塔的冷却水通过一次换热器实现两侧介质的换热，实现液冷系统全年连续循环。液冷机房的冷却水系统等同于传统风冷机房冷冻水系统全年都在不开冷机的freecooling模式运行。4.华为贵州数据中心设计PUE方案采用直通风AHU散热，实现数据中心免费制冷（freecooling），同时基于风量匹配、负载均衡以及L1/L2联动持续优化运营PUE。供配电系统设计方面，采用N+R架构，配置电力模块。冷却系统设计方面，采用直接蒸发AHU制29数据中心绿色设计白皮书ODCC-2023-02001冷，直接将室外新风引入数据中心内部，所以数据机房不再设置单独的新风系统。为了满足数据机房高效送排风，除了配置直接用于送风的空调机组外，在机房另一侧也配有排风井和排风风机，风机可以变频以维持数据机房的正压。本方案主要设计亮点在于iCooling能效调优（L1）和L1/L2联动调优。iCooling@AI能效优化技术，在给定的天气条件、IT负载、业务SLA等输入的情况下，通过深度神经网络模型进行能耗拟合及预测，并结合寻优算法，推理出最优PUE下的对应的系统控制参数，实现数据中心能效自动化调优。L1/L2联动调优通过感知每个模块服务器的需求风量，调优直通风的供给风量，实现风量自动匹配；通过感知末端IT负载，基于末端负载不均衡工况下进行冷量匹配调优。