新一代智能间接蒸发冷却解决方案白皮书数据中心能源白皮书401号顾问陶文铨（院士）、方良周、费珍福、何波联合主编单位西安交通大学、华为技术有限公司、中国人民银行金融信息中心、万国数据服务有限公司、中国信息通信研究院、中国标准化研究院、西安工程大学、广东省节能中心、上海市能效中心、中国制冷学会、中国计算机协会数据中心分会、开放数据中心委员会（ODCC）、数据中心节能技术委员会、“互联网+节能”产业联盟数据中心节能组、绿色网格标准推进委员会(TGGC)参编单位（按单位名称拼音排序）北京电信规划设计院有限公司、国网信息通信产业集团有限公司北京分公司、广东云下汇金科技有限公司、广东启信数据服务有限公司、广东奥飞数据有限公司、广东省电信规划设计院有限公司、华信咨询设计研究院有限公司、鹏博士大数据有限公司、深圳证券通信有限公司、赛迪顾问股份有限公司、上海建筑设计研究院有限公司、腾讯科技（深圳）有限公司、中金数据集团有限公司、招商银行股份有限公司、中国人寿保险股份有限公司、中国中元国际工程有限公司、中国建筑标准设计研究院有限公司、中国航空规划设计研究总院有限公司、中通服咨询设计研究院有限公司、中国移动设计院黑龙江分院主编人员（按姓氏拼音排序）安真、蔡红戈、韩冬、黄翔、李国强、李洁、李楠、刘培国、马宝东、彭妍妍、曲鸣、秦宏波、宋金良、王刚、王鹏、王舜、肖鑫、阳必飞、张超、张广河、张磊、张勇、赵国君参编人员（按姓氏拼音排序）白明波、鲍飞、操明立、陈晨、陈林富、陈炎通、戴新强、邓燕、范强、丰刚明、冯立京、高景、郭安、何海波、贾峻、劳逸民、李权旭、刘猛、娄小军、卢泽模、马磊、梅刚、盛凯、王克勇、王强、温晓军、吴天青、吴晓晖、谢丽娜、谢岫峰、张春阳、张达赢、张瑾、张蓝心、张六丰、张天松、赵春晓、赵子林、郑品迪、钟歆、朱慧宾新一代智能间接蒸发冷却解决方案白皮书目录3.数据中心制冷行业现状及挑战3.1数据中心政策解读3.2国家及行业标准解读3.3数据中心传统制冷系统的现状及挑战3.3.1传统制冷系统能耗大3.3.2传统制冷系统部署周期长3.3.3传统制冷系统复杂3.3.4传统制冷系统运维费用高3.4数据中心传统间接蒸发冷却系统的现状及挑战3.4.1间接蒸发冷却系统需增强与建筑的匹配3.4.2间接蒸发冷却系统需能满足在湿热地区的应用3.4.3间接蒸发冷却系统需进一步简化运维3345555566664.间接蒸发冷却系统介绍4.1系统原理及组成4.1.1系统原理4.1.2室外空气处理系统4.1.3水处理系统4.2安装场景及气流组织4.2.1安装场景4.2.2气流组织4.3气候适应性77789101010127.基于AI的新一代智能间接蒸发冷却解决方案7.1用AI技术进行能效提升7.2用AI技术进行故障预测2121278.间接蒸发冷却解决方案应用案例8.1国内应用案例8.2国外应用案例282830附录：全国部分城市的温度分布系数表345.间接蒸发冷却系统与传统冷冻水系统对比5.1PUE和WUE对比5.2分期部署能力对比5.3部署周期对比5.4颗粒度和可靠性对比5.5TCO对比5.5.1初始投资对比5.5.2运行投资对比13131415151515166.间接蒸发冷却技术应用及发展方向6.1增强建筑物适配性6.2延长湿热地区自然冷却时长6.3增强寒冷地区应用可靠性6.4简化运维6.5空气处理系统归一化1818181919201.前言2.术语12新一代智能间接蒸发冷却解决方案白皮书1数据中心能源白皮书401号版本01随着5G、云计算、数字化转型的快速发展，大数据中心成为新基建的热点。作为国家基础性战略资源，大数据中心成为国家竞争力的战略制高点之一，数据中心的建设规模和数量呈现快速增长。近年来，国家相关部委出台了关于绿色数据中心建设和建设布局的指导意见，北京市、上海市、广东省、深圳市等地方政府也出台了数据中心相关政策，对新建数据中心的PUE制定了详细的准入门槛和激励机制。数据中心能耗尤其是制冷系统能耗已成为业界普遍关注的焦点。提高制冷系统的能效，既响应国家节能减排的政策导向，也是降低数据中心运营费用的重要目标。数据中心传统冷冻水制冷系统存在能耗大、部署周期长、系统复杂、以及运维费用高等诸多挑战。间接蒸发冷却技术是充分利用自然冷源，降低数据中心制冷系统能耗的有效手段。同时间接蒸发冷却系统简单、安装适配性好、适用气候区域广泛；与传统冷冻水制冷系统相比，更省电省水，在分期部署、建设周期、可靠性、TCO方面更具优势，受到行业广泛的认可。同时，随着间接蒸发冷却技术的使用量快速增加，该技术又出现了新的发展趋势，比如空气处理系统归一化、用AI技术提升能效、以及用AI技术进行故障预测等。为了更好地推广间接蒸发冷却技术，特编写《新一代智能间接蒸发冷却解决方案白皮书》，谨为行业相关人士提供参考。1.前言新一代智能间接蒸发冷却解决方案白皮书2白皮书收录于“智领DC计划”2.术语数据中心datacenter为集中放置的电子信息设备运行提供运行环境的建筑场所，可以是一栋或几栋建筑物，也可以是一栋建筑物的一部分，包括主机房、辅助区、支持区和行政管理区等。间接蒸发冷却indirectevaporativecooling（下文简称IEC）间接蒸发冷却是指产出介质（空气或水）与工作介质（空气或水，工作介质发生直接蒸发冷却）间接接触，仅进行显热交换而不进行质交换，来获取冷风或冷水。间接蒸发冷却空气处理系统indirectevaporativeair-conditioningsystem一种采用间接蒸发冷却技术，工作介质为空气或水，产出介质为空气，提供空气循环、空气过滤、冷却、湿度控制和辅助冷源的空气调节机组。下文简称间接蒸发冷却系统。机械辅助制冷mechanicalauxiliarycooling机械辅助制冷是间接蒸发冷却系统无法完全采用自然冷却或间接蒸发冷却无法达到额定制冷量，而采用蒸汽压缩制冷方式补充制冷量的一种辅助制冷方式冗余redundancy重复配置系统的机组或部件，当部分机组或部件发生故障时，冗余配置的机组或部件介入并承担故障机组或部件的工作，由此延长系统的平均无故障间隔时间。电能利用效率（PUE）powerusageeffectiveness表征数据中心电能利用效率的参数，其数值为数据中心内所有用电设备消耗的总电能与所有电子信息设备消耗的总电能之比。水利用效率（WUE）waterusageeffectiveness表征数据中心水利用效率的参数，其数值为数据中心内所有用水设备消耗的总水量与所有电子信息设备消耗的总电能之比。人工智能（AI）artificialintelligence用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。新一代智能间接蒸发冷却解决方案白皮书3数据中心能源白皮书401号版本013.数据中心制冷行业现状及挑战3.1数据中心政策解读近年来，工业和信息化部、国家发展和改革委员会、国家机关事务管理局、国家能源局、国土资源部、国家电力监管委员会等部委相继出台了关于绿色数据中心建设和建设布局的指导意见，北京市、上海市、广东省、深圳市等地方政府也出台数据中心相关政策，对新建数据中心的PUE制定了详细的准入门槛和激励机制。在政策牵引下，新建数据中心必将更加重视节能，间接蒸发冷却解决方案等自然冷却方案将会得到更广泛的应用。适用区域发文名称发文时间发文机构主要内容全国《关于加强绿色数据中心建设的指导意见》2019年2月工业和信息化部、国家机关事务管理局、国家能源局2022年数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的电能使用效率值达到1.4以下，高能耗老旧设备基本淘汰。《关于数据中心建设布局的指导意见》2019年7月工业和信息化部、国家发展和改革委员会、国土资源部、国家电力监管委员会、国家能源局1.市场需求导向原则：从市场需求出发，合理规划建设数据中心；2.对满足布局导向要求，在1.5以下的新建数据中心，以及整合、改造和升级达到相关标准要求(暂定PUE降低到2.0以下)的已建数据中心，在电力设施建设、供应及服务等方面给予重点支持。北京市《北京市新增产业的禁止和限制目录（2018年版）》2018年9月北京市人民政府办公厅1.全市范围内，禁止新建和扩建互联网数据服务、信息处理和存储支持服务中的数据中心（PUE值在1.4以下数据中心除外）；2.中心城区（包括东城区、西城区、朝阳区、海淀区、丰台区、石景山区）全面禁止新建和扩建数据中心。上海《上海推进新一代信息基础设施建设三年行动计划（2018-2020）》2018年11月上海市经济和信息化委员会、上海市发展和改革委员会1.2018年机架总规模控制在12万个，存量改造数据中心PUE不高于1.4，新建设数据中心PUE小于1.3；2.2019-2020年机架数总规模控制在14万、16万个，PUE要求不变。《上海市关于加强本市互联网数据中心统筹建设的指导意见》2019年1月上海市经济和信息化委员会、上海市发展和改革委员会1.到2020年，全市互联网数据中心新增机架数严格控制在6万架以内；2.本市互联网数据中心建设应优先支持服务“五个中心”的功能性基础平台、全球数据港等枢纽型平台。表1国家和地方政府数据中心相关政策一览表新一代智能间接蒸发冷却解决方案白皮书4白皮书收录于“智领DC计划”适用区域发文名称发文时间发文机构主要内容《上海市互联网数据中心建设导则（2019版）》2019年6月上海市经济信息化委员会1.选址布局：严禁在中环以内区域新建IDC，原则上选择在外环外符合配套条件的既有工业区内，并兼顾区域经济密度要求；2.资历资质：鼓励电信运营商、大型IDC专业运营商、专业云服务商申报，须持有IDC运营许可，具有大规模数据中心运营经验；3.设计指标：单项目规模控制在3000-5000个机架，平均机架设计功率不低于6kW，机架设计总功率不小于18000kW。PUE值严格控制不超过1.3；4.上海建设IDC关键指标要求：PUE（综合）第一年不高于1.4，第二年不高于1.3；5.WUE第一年不高于1.6，第二年不高于1.4。深圳《深圳市发展和改革委员会关于数据中心节能审查有关事项的通知》2019年4月深圳市发展和改革委员会1.强化技术引导。PUE1.4以上的数据中心不享有支持；2.对于PUE值为1.35-1.40（含1.35）的数据中心，新增能源消费量可给予实际替代量10%及以下的支持；对于PUE值为1.30-1.35（含1.30）的数据中心，可给予实际替代量20%及以下的支持；对于PUE值1.25-1.30（含1.25）的数据中心，可给予实际替代量30%及以下的支持；PUE低于1.25的数据中心可享受新增能源消费量40%以上的支持。广东《广东省5G基站和数据中心总体布局规划（2021-2025年）》2020年6月广东省工业和信息化厅1.到2022年，PUE值不超过1.3；2.到2025年，PUE值不超过1.25；3.PUE≤1.25：优先支持新建和扩建；4.1.25＜PUE≤1.3：支持新建和扩建；5.1.3＜PUE≤1.5：严控改建，不支持新建、扩建；6.PUE＞1.5：禁止新建、扩建和改建。3.2国家及行业标准解读随着服务器等IT设备的技术进步，其对制冷的要求也在不断发生变化，其中一个重要的指标是进风温度逐渐提高。《数据中心设计规范》GB50174-2017将冷通道或服务器机柜进风温度范围规定为18~27℃。《ASHRAETechnicalCommittee(TC)9.9》允许的服务器进风温度从2004年的20~25℃扩展到了2015年的18~27℃。近年来，已有部分数据中心尝试进一步提高进风温度，允许全年一定比例的时间内送风温度可以超过27℃，甚至接近32℃。数据中心内温度环境标准的放宽，为制冷系统的节能创造了条件，数据中心可考虑如何更多地使用自然冷源，减少机械制冷。间接蒸发冷却等在其他领域成熟的自然冷却方案开始进入数据中心制冷解决方案的舞台，且其应用区域范围越来越广。新一代智能间接蒸发冷却解决方案白皮书5数据中心能源白皮书401号版本013.3数据中心传统制冷系统的现状及挑战3.3.1传统制冷系统能耗大随着数据中心规模不断加大，功率密度不断提高，数据中心已成为典型的耗能大户，以一个IT额定容量1MW，设计PUE为1.5的典型数据中心为例，从建设到投入运行10年的周期来看，电费占比高达总投资的60%以上，其中，制冷系统的能耗占总能耗的30%左右。因此，数据中心的制冷解决方案就很大程度上决定了其能耗上限，制冷系统节能已成为数据中心建设的首要诉求。3.3.2传统制冷系统部署周期长数据中心的建设周期会影响到资金占用，业务快速上线，建设周期越短，收益越明显。一个采用冷冻水制冷系统的中等规模（IT额定容量1MW）数据中心，从建设到投入使用，一般需要10~12个月左右，实际考虑施工天气影响，可能会更长。在这个建设周期中，因制冷系统涉及安装、联调，其施工周期可能长达5~6个月。因此，数据中心面临制冷系统部署周期长的挑战。大型数据中心分期建设已常态化，其时间跨度可能会达到2~3年甚至更久，为了配合IT负载分期部署，需要制冷解决方案能方便快速的实现分期部署，每期的方案能快速复制，又能相互解耦。3.3.3传统制冷系统复杂对照UptimeTier不同等级的要求，数据中心采用冷冻水方案实现TierⅣ可采用的方案为：冷冻水系统常用环形管网或双路供回水，各段需设置阀门，确保每段管路漏水可检修。主机、水泵、末端等连接到“环”上，水路“环环相扣”。主机、水泵、冷却塔、末端N+R配置，至少为N+1。干管上的阀门、仪表等并无冗余备份，存在阀门失效，仪表失效、焊点泄露单点故障的可能性。连续制冷通过另外配置蓄冷罐实现。因此，数据中心面临制冷系统架构简化的挑战。3.3.4传统制冷系统运维费用高运维是数据中心生命周期内重点关注的问题，以一个1500机柜、采用冷冻水制冷方案的数据中心为例，每个班次的运维人员需要3~4人，每天3个班次轮换，共需要运维人员9~12人，加上例行的机组、水泵、管路等检修，以10年运行周期计算，运维人工费用投入占数据中心总投入会达到10%左右，简化运维能减少运维成本。因此，如何简化运维工作、提升运维的智能化程度也是数据中心制冷系统面临的挑战。新一代智能间接蒸发冷却解决方案白皮书6白皮书收录于“智领DC计划”3.4数据中心传统间接蒸发冷却系统的现状及挑战制冷系统的电费占总电费的35%左右，充分利用自然冷源可进一步提高制冷系统的能效，减少制冷系统电耗。以中国地区为例，越向北可用自然冷源的时长越长，节能效果越好。即使对于夏热冬冷和夏热冬暖地区，夏季有较多的高温天气，间接蒸发冷却系统也可利用水蒸发吸收空气中的热，给室外空气降温来冷却机房的空气，以满足机房的制冷需求。炎热天气情况下，间接蒸发冷却系统利用压缩机制冷系统来给数据中心散热，也解决了冷冻水制冷系统耗水大的问题。当然传统间接蒸发冷却系统在应用中也存在以下挑战。3.4.1间接蒸发冷却系统需增强与建筑的匹配间接蒸发冷却系统在多层数据中心室内使用时，如何对建筑进行针对性的适配设计，如何考虑设备安装间、风管、维护通道、排风井的布置。需要结合机组的特征和建筑的经济性综合考虑。3.4.2间接蒸发冷却系统需能满足在湿热地区的应用随着服务器耐温特性的提升，从节能角度考虑，为了更多的应用自然冷，机房温度将会越来越高，间接蒸发冷却机组适宜应用的分界线将会逐渐南移。后续随着机房送风温度提高，自然冷可应用时间会进一步增加。同时，间接蒸发冷却系统相比传统冷冻水制冷系统，更省水，故障域更小，更适合分期部署和扩容，间接蒸发冷却系统将会逐渐成为数据中心主流解决方案。但在湿热区域，存在部分时间段内环境干湿球温差较小，机组喷淋或喷雾冷却的效果有限，同时，喷淋还会产生额外的风阻，导致机组运行能效降低。如何延长间接蒸发冷却在湿热时间的应用，如何实现最优的运行，也是传统间接蒸发冷却系统面临的挑战。3.4.3间接蒸发冷却系统需进一步简化运维间接蒸发冷却系统方案将自然冷却系统和直膨风冷系统集成在一个设备中，对后期运行维护耗材和维护相对传统冷冻水系统的运维是不一样，这方面如何实现利用人工智能技术进行故障预测，实现预测性维护和智能运维，降低运维成本。也是间接蒸发冷却在应用中需要考虑的问题。新一代智能间接蒸发冷却解决方案白皮书7数据中心能源白皮书401号版本01运行模式风机状态水泵状态压缩机状态干模式（风机）开启关闭关闭湿模式（风机+喷淋）开启开启关闭混合模式（风机+喷淋+压缩机制冷）开启开启开启4.间接蒸发冷却系统介绍4.1.1系统原理4.1系统原理及组成整体式间接蒸发冷却系统在数据中心现场安装风管、水管及配电后即可投入使用，机组有三种运行模式，干模式：仅风机运行，完全采用自然冷却；湿模式：风机和喷淋水泵运行，利用喷淋冷却后的空气换热；混合模式：风机、喷淋水泵、压缩机同时运行。三种运行模式可以结合气象参数和机组自身的特性曲线，在控制系统控制下运行，在满足温度控制的基础上，同时实现节能的目的。1）干模式当室外环境低于一定温度时，机组采用干模式运行即可满足机房制冷需求，此时室内外侧风机运行。室内回风室外新风室内送风室外排风表2间接蒸发冷却系统的工作模式图1间接蒸发冷却系统干模式运行状态示意图新一代智能间接蒸发冷却解决方案白皮书8白皮书收录于“智领DC计划”4.1.2室外空气处理系统间接蒸发冷却机组直接与室外空气接触，空气中的粉尘、杂质、柳絮等会在喷淋水作用下附着在芯体表面或沉积循环水箱内，影响水质，并对喷淋系统的可靠性造成影响。通过机组与建筑合理的布局，可以使室外空气在进入机组前，先进行转向、降速沉降，将空气中的大颗粒杂质先分离出来，不直接被机组吸入，从而避免堵塞过滤网。如下图布局所示，这种处理方式还可以很好地避免雨雪进入机组内。2）湿模式当室外环境温度高于湿模式启动温度时，机组采用湿模式运行，此时水泵启动运行。室内回风室外新风室内送风室外排风图2间接蒸发冷却系统湿模式运行状态示意图图3间接蒸发冷却系统混合模式运行状态示意图3）混合模式当室外环境温度高于“湿模式+辅冷模式”启动温度时，机组采用混合模式运行，此时压缩机和水泵均开启。室内回风室外新风室内送风室外排风新一代智能间接蒸发冷却解决方案白皮书9数据中心能源白皮书401号版本01图4利用气流组织进行空气处理示意图建议在新风进口处配置不低于G3等级的过滤网，以彻底避免室外质量对机组的不利影响。建议进风表面设计风速应≤3m/s，以保证滤网能达到较好的过滤效果。在柳絮、杨絮飞飘季节，机组配置的过滤网很容易堵塞，人工清理存在工作量非常大，推荐配置全自动除絮装置，降低运维工作量。在非柳絮、杨絮飞飘季节，除絮装置自动收起或旁通，降低运行风阻，提升间接蒸发冷却系统能效比。表3金属芯体与高分子芯体对水质的要求4.1.3水处理系统间接蒸发冷却机组在湿模式和混合模式运行时，喷淋水会直接接触换热芯体，在芯体表面蒸发，水中杂质会残留在芯体表面形成水垢，同时，水中的氯化物还会对金属芯体造成腐蚀，需要同时控制喷淋水的硬度和水中氯化物的含量。因此，喷淋水必须经过水处理系统进行预处理。根据芯体材质不同，对水质的要求也不同，需根据本地水质选择合适的水处理方式。一般来说，金属芯体对水的硬度和氯化物含量要求较高，需要采用反渗透水，高分子芯体防腐性能好，只对水的硬度有明确的要求，需要采用软化水。常用水处理系统基本处理流程如下：原水供水→粗效过滤→精密过滤→供水水箱→间接蒸发冷却机组→循环水供水→粗效过滤→精密过滤→紫外线杀菌装置→供水水箱参数金属芯体水质要求非金属芯体水质要求过滤等级≥89μm≥89μmPH值5<PH值<85<PH值<8导电性<1300μS/cm<1300μS/cm总硬度<100mg/L<100mg/L总碱度<50mg/LCaCO3<200mg/LCaCO3氯化物<120mg/L<250mg/L二氧化硅<5mg/L<10mg/L有机质<3mg/L<3mg/L新一代智能间接蒸发冷却解决方案白皮书10白皮书收录于“智领DC计划”4.2安装场景及气流组织间接蒸发冷却系统安装在机房外，通过架空地板或者弥漫式送风将冷风送至机房内，在机房内不需要额外配置末端设备，可使机房内有更多的空间布置机柜，提高机房安装出柜率。4.2.1安装场景间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，随着间接蒸发冷却的应用逐渐推广，多层应用安装场景成为主流，目前应用占比大于60%。多层应用安装场景分为预制模块化数据中心、多层楼宇室内、多层楼宇室外三类。多层楼宇室内场景受建筑限制，对机组长、宽、高均有严格要求。4.2.2气流组织1）单层楼顶应用二次侧（室外侧）：从机组端面进风，在机组内部换热，另一侧端面排出（也可直接从顶部排出），气流方向见图中黄线所示。一次侧（机房侧）：从机房顶部共享热通道通过风管回风，在机组内部换热，从另一侧通过风管送入机房，气流方向见下图中蓝线所示。安装场景单层应用多层应用大平层楼顶预制模块化数据中心多层楼宇室内多层楼宇室外示意图特征大平层：机房同侧送回风，室外可直接向上排风楼顶：机房送回风不同侧，室外可直接向上排风全集装箱堆叠、全预制1.机组在每层楼外边沿2.室外侧排风共用排风井1.机组安装在楼宇外钢架支撑2.室外侧排风共用排风井表4间接蒸发冷却系统安装场景分类间接蒸发机房内循环回风管图5间接蒸发冷却系统楼顶安装示意图新一代智能间接蒸发冷却解决方案白皮书11数据中心能源白皮书401号版本013）多层机房侧面应用二次侧（室外侧）：从机组端面进风，在机组内部换热，另一侧端面通过排风井排出室外（可多层共用风井，也可每层独立风井），气流方向见下图中黄线所示。一次侧（机房侧）：从机房顶部共享热通道通过风管回风，在机组内部换热，从另一侧通过风管转向180°送入机房，气流方向见下图中蓝线所示。注：具体的安装方案，需要由专业设计院进行土建建设或改造方案设计，同时还需要满足政府监管部门对于规划、消防等方面的监管规定。机房间接蒸发机房机房间接蒸发间接蒸发图6间接蒸发冷却系统室外侧面安装示意图图7间接蒸发冷却系统多层机房侧面安装示意图2）单层机房侧面应用二次侧（室外侧）：从机组端面进风，在机组内部换热，另一侧端面排出（也可直接从顶部排出），气流方向见下图中黄线所示。一次侧（机房侧）：从机房顶部共享热通道通过风管回风，在机组内部换热，从另一侧通过风管转向180°送入机房，气流方向见下图中蓝线所示。新一代智能间接蒸发冷却解决方案白皮书12白皮书收录于“智领DC计划”4.3气候适应性间接蒸发冷却解决方案设计的核心思想在于更多的利用自然冷源，根据所使用地域的气象参数、空气质量等差异应用效果有所区别。一般来讲，在中国贵州、欧洲、北美等空气质量较好且气温适宜的地域，可以使用直接蒸发冷却方案；在亚洲、欧洲、南美、非洲等气温适宜的地域，都适合使用间接蒸发冷却机组。热带气候温带气候干旱气候冰雪气候极地气候炎热/潮湿温暖/潮湿炎热/干燥寒冷/干燥极寒/干燥东南亚，中非，拉美北美国东部，中国中/南部，日本，西欧美国西部，中国西北，中东，澳洲西部美洲北部，加拿大、东北欧，俄罗斯冰岛，瑞典冷冻水、IEC冷冻水、IEC冷冻水、IECIECIEC图9间接蒸发冷却技术应用地图（中国）推荐可用具体评估乌鲁木齐西宁拉萨成都昆明贵阳南宁广州澳门香港海口长沙南昌武汉杭州台北福州合肥郑州西安银川兰州呼和浩特石家庄太原北京天津哈尔滨长春济南南京上海沈阳图8间接蒸发冷却技术应用地图（全球）表5间接蒸发冷却技术的气候适应性新一代智能间接蒸发冷却解决方案白皮书13数据中心能源白皮书401号版本015.间接蒸发冷却系统与传统冷冻水系统对比5.1PUE和WUE对比间接蒸发冷却系统充分利用自然冷源，相比于传统冷冻水系统有明显的节电节水优势，特别是低负载下绝大多时间可以不用机械辅助制冷。下文针对夏热冬冷和夏热冬暖的两个地区的典型城市进行间接蒸发冷却系统和传统冷冻水系统的对比。从结果上看，在反映耗电量的pPUE指标和耗水量的WUE指标上，间接蒸发冷却系统的两项指标都大幅低于冷冻水系统。以中国北京、上海和深圳某数据中心模型为例：该数据中心建筑面积约为12000平方米，机柜数1000个，单柜功率密度8kW/R，当地电费0.75元/kWh，水费8元/吨，负载率第1年30%，逐年上升，5年满载，测算10年总运行费用。间接蒸发冷却方案：n+1配置，50%机械辅助制冷；冷冻水方案：变频离心机，带自然冷却，供回水温度：20/27℃。具体数据见下表：北京某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.271.21WUE/1.840.93上海某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.301.23WUE/1.870.89深圳某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.321.25WUE/1.931.12表6北京地区间接蒸发冷却系统和传统冷冻水系统的PUE和WUE对比表7上海地区间接蒸发冷却系统和传统冷冻水系统的PUE和WUE对比表8深圳地区间接蒸发冷却系统和传统冷冻水系统的PUE和WUE对比新一代智能间接蒸发冷却解决方案白皮书14白皮书收录于“智领DC计划”5.2分期部署能力对比冷冻水系统中水泵、水阀、仪表、管路、蓄冷罐及膨胀水箱的成本占整体系统投资约50%左右，现场施工的周期占整个制冷系统的60%以上。管路系统施工复杂，涉及到穿墙、焊接、保温、吊装等现场施工动作，对于分期投建的数据中心，通常在施工时会将整个制冷系统的管路一次性铺设完成。仅能实现主机、冷却塔及空调末端的分期布局，因此，冷冻水系统的分期建设通常是系统级的分期建设，无法真正满足分期部署所带来的节省初始投资，快速业务上线的特点。整体式间接蒸发冷却系统内部集成机械辅助制冷，各台机组之间硬件独立。便于实现分期扩容，大大节省了客户初始投资，满足业务快速上线的诉求，实现了真正的分期部署。图10水冷冷冻水系统组成示意图图11间接蒸发冷却系统分期部署示意图新一代智能间接蒸发冷却解决方案白皮书15数据中心能源白皮书401号版本015.3部署周期对比数据中心从最初的方案设计、图纸深化设计、器件采购生产、现场安装、调试到最后的验收交付使用，一般会耗时6~12个月，其中，制冷方案的施工、调试所占比重最大。以一个1500机柜的数据中心为例，采用传统冷冻水方案：冷水机组、冷却塔、末端、水泵、管路、蓄冷罐等部件从下单到货到现场、完成安装预计耗时4个月；各部件联调预计耗时1.5个月，总共耗时5.5个月。采用间接蒸发冷却设备方案：由于机组为整体式，现场只需要安装风管、水管、供电线缆，不与其它设备产生强耦合关系，从机组下单生产到现场完成安装，预计耗时3个月；整体式机组调试简单，预计耗时1个月，总耗时4个月，比传统冷冻水方案节约1.5个月。从建设周期来看，在大型数据中心采用间接蒸发冷却设备制冷方案，能大幅度缩短机房建设周期，有助于减少资金占用，保障业务快速上线。5.4颗粒度和可靠性对比间接蒸发冷却系统以空气冷却和蒸发冷却为主，通过多台单独部署来满足数据中心散热需求，属于分布式冷源，颗粒度小，设备间关联度低，出现故障时影响小、处理简单，更为可靠。传统冷冻水系统属于集中式冷源，系统复杂、设备繁多，颗粒度大，设备间关联度高，在出现故障时影响大、处理复杂，可靠性相对较低。5.5TCO对比5.5.1初始投资对比数据中心的初始投资主要包含建筑建造费用、设备费用、安装调试费用几部分。其中建筑建造费用受制冷系统占地面积的影响，针对传统的冷冻水方案，冷水机组的制冷量体积密度高，占地较小，但由于整体方案由多个独立的设备组合而成，冷却塔、末端等设备分散布置，空间的利用率不高；而针对间接蒸发冷却方案，设备受空空换热器合理风速的设计限制，制冷量体积密度较小，占地较大，但其为整体式机组，可以集中布置，有利于建筑的整体布局优化，空间利用率高，且机房内无需布置末端，出柜率比冷冻水方案高。综合考虑，基于相同的机柜数，间接蒸发冷却设备解决方案的机房占地面积较传统冷冻水方案小5%~10%，但蒸发冷却设备的风口需要与机房配合，需前期方案设计时考虑。安装调试费用与系统组成的复杂度强相关，间接蒸发冷却设备为整体式机组，相比于由多个设备组成的传统冷冻水方案，在安装调试方面具有天然的优势，基于相同的机柜数，其安装调试费用低50%以上。综合设备费用考虑，由于蒸发冷却机组为新兴设备，设备本体集成度高，对设计、生产的要求较高，导致设备费用较冷冻水极高，以一个1500机柜，单柜功率密度8kW/R的数据中心为例，间接蒸发冷却设备解决方案相对传统冷冻水方案，初始投资高10%~15%。新一代智能间接蒸发冷却解决方案白皮书16白皮书收录于“智领DC计划”5.5.2运行投资对比数据中心的运行费用主要包括设备消耗的电费、水费、耗材费用、例行检修费用等，其中电费取决于数据中心运行PUE，例行检修费用取决于系统的复杂度。间接蒸发冷却设备全年大部分时间可以采用自然冷源，且经过设备冷却后的冷空气直接送入机房，而传统冷冻水系统，全年大部分时间采用压缩机制冷，少量时间采用自然冷却，且采用水作为载冷剂，在机房内通过末端中的冷水与空气换热，多一次传热损耗，在可用的相同地域、相同负载条件下，采用间接蒸发冷却解决方案相比传统冷冻水方案，其全年运行PUE可低0.1以上。冷冻水方案由多个独立的设备组合而成，且多为不同品牌的设备组合而成，设备之间的协同性较差，而间接蒸发冷却设备为整体式，更易实现协同寻优运行，降低能耗传统冷冻水解决方案系统复杂，所需巡检的设备、参数都数倍于间接蒸发冷却机组，在数据中心生命周期内，运维费用传统冷冻水方案会高于间接蒸发冷却方案。估算10年运行投资，间接蒸发冷却设备解决方案相对传统冷冻水方案低25%以上。以北京、上海和深圳的某数据中心模型为例：该数据中心建筑面积约为12000平方米，机柜数1000个，单柜功率密度8kW/R，当地电费0.75元/kWh，水费8元/吨，负载率第1年30%，逐年上升，5年满载，测算10年总运行费用。间接蒸发冷却方案：n+1配置，50%机械辅助制冷；冷冻水方案：变频离心机，带自然冷却，供回水温：20/27℃。具体数据见下表：北京某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A0.63A制冷设备费用万元B0.9B安装费用万元C0.5C电费万元D0.61D水费万元E0.51E运维费用（含人工、备件等）万元F0.83FTCO（总成本10年）万元G0.71G表9北京地区间接蒸发冷却系统和冷冻水系统的TCO对比新一代智能间接蒸发冷却解决方案白皮书17数据中心能源白皮书401号版本01上海某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A'0.63A'制冷设备费用万元B'0.9B'安装费用万元C'0.5C'电费万元D'0.67D'水费万元E'0.48E'运维费用（含人工、备件等）万元F'0.83F'TCO（总成本10年）万元G'0.78G'深圳某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A''0.63A''制冷设备费用万元B''0.9B''安装费用万元C''0.5C''电费万元D''0.68D''水费万元E''0.58E''运维费用（含人工、备件等）万元F''0.83F''TCO（总成本10年）万元G''0.77G''表10上海地区间接蒸发冷却系统和冷冻水系统的TCO对比表11深圳地区间接蒸发冷却系统和冷冻水系统的TCO对比新一代智能间接蒸发冷却解决方案白皮书18白皮书收录于“智领DC计划”6.间接蒸发冷却技术应用及发展方向6.1增强建筑物适配性间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，但随着数据中心爆发式的增长，单层或两层的数据中心占地大的劣势会越来越明显，多层数据中心会成为主流；同时，机组室外布置会对日常运维带来诸多不便。对间接蒸发冷却机组而言，多层室内应用将会成为主流场景。间接蒸发冷却机组在多层数据中心室内使用时，需要建筑进行针对性的适配设计，设置单独的设备安装间，主要用于间接蒸发冷却机组、风管、维护通道、排风井的布置。结合机组的特征和建筑的经济性考虑，建议设备安装间的长度为7~9m（层数差异会影响排风井的尺寸），粱下净高一般不低于4.5m。不同楼层的机组室外排风通过排风竖井统一排放到建筑顶部，以免产生热气流回流。在每层的预留1~2个吊装孔，其尺寸与机组尺寸相匹配，机组从吊装孔进入对应楼层后，在设计安装间内平移到对应的安装位置，因此，排放竖井需要设置在机组端部，不能设置在两台机组之间而导致机组无法平移，影响后续维护或扩容。从整体来看，单层建筑需包含机房、对应的配电间、及对应的管井、线井等，实现“一层一DC”，方便分期建设和后续按需扩容。6.2延长湿热地区自然冷却时长随着服务器耐温特性的提升，从节能角度考虑，为了更多的应用自然冷，机房温度将会越来越高，间接蒸发冷却机组适宜应用的分界线将会逐渐南移。以广东省深圳、清远、惠州为例，全年气温25℃以下的时间有4500多小时，在机房25℃送风条件下，全年有一半以上的时间可以全部或部分应用自然冷。后续随着机房送风温度提高，自然冷可应用时间会进一步增加。同时，间接蒸发冷却机组相比传统冷冻水方案，更省水，故障域更小，更适合分期部署和扩容，间接蒸发冷却机组将会逐渐成为数据中心主流解决方案。3500300025002000150010005000T<=-25-25<T<=-20-20<T<=-15-15<T<=-10-10<T<=-5-5<T<=00<T<=55<T<=1010<T<=1515<T<=2020<T<=2525<T<=3030<T<=3535<T<=4040<T<=4545<T干球温度深圳清远惠州图12深圳、清远、惠州的全年干球温度分布示意图新一代智能间接蒸发冷却解决方案白皮书19数据中心能源白皮书401号版本016.3增强寒冷地区应用可靠性间接蒸发冷却解决方案在寒冷地区的应用，需要考虑设备的冻结保护问题，保证制冷系统的连续稳定运行。冬季室外低温情况下，换热芯体表面温度低于0°C，一次侧空气遇冷析出的冷凝水会在芯体表面凝结成冰，严重时会造成换热芯体冻结堵塞，机组失去冷却功能。有效监控换热芯体的表面温度，实时调节一次侧和二次侧风量，同时有效控制一次侧空气湿度，是避免冻结问题的必要手段。6.4简化运维为了实现快速部署，未来数据中心可能会由传统的土建式逐渐向预制模块化方案转变，将现场复杂的、繁琐的工序前移到工厂内预制，实现现场的快速交付，来应对新建大量数据中心的需求。传统的制冷系统，特别是大型数据中心的制冷方案，由于制冷设备数量种类多、管路复杂、难以整合成预制化模块。间接蒸发冷却系统方案将自然冷却系统和直膨风冷系统集成在一个模块化架构下，可配合预制模块化解决方案实现快速部署，较传统方案缩短交付周期接近50%。在运维方面，运维简化的间接蒸发冷却方案将更受欢迎。在设备本身，通过设备自身的运行参数，结合声光影像传感器、结合大数据进行设备的状态检查，实现智能运维、自动运维将是未来发展的方向。但在湿热区域，存在部分时间段内环境干湿球温差较小，机组喷淋或喷雾冷却的效果有限，同时，喷淋还会产生额外的风阻，导致机组运行能效降低。在高湿时间段，需要间接蒸发冷却机组能自动根据气象参数判定喷淋的收益，实时调节喷淋的运行状态，实现最优的运行状态。3500300025002000150010005000T<=-25-25<T<=-20-20<T<=-15-15<T<=-10-10<T<=-5-5<T<=00<T<=55<T<=1010<T<=1515<T<=2020<T<=2525<T<=3030<T<=3535<T<=4040<T<=4545<T湿球温度深圳清远惠州图13深圳、清远、惠州的全年湿球温度分布示意图新一代智能间接蒸发冷却解决方案白皮书20白皮书收录于“智领DC计划”6.5空气处理系统归一化传统大型数据中心暖通整体解决方案除了制冷设备外，还需要额外配置加湿、除湿等功能。额外增加的这些设备不仅占用机房白空间，影响出柜率，也会影响机房内的气流组织。最重要的是，这些设备都是根据各自检测到的参数独立控制，无统一协调，根据机房各不同区域检测到的参数差异，可能出现部分加湿设备和部分除湿设备同时运行的情况，影响机房整体的PUE。根据间接蒸发冷却系统的气流组织构成特点，可将室外新风经过过滤后送入机房内，集成新风功能，保持机房换气需求和微正压。机组本体配置了压缩机补冷系统，通过对压缩机系统的运行状态精确控制，实现除湿功能。在春、夏、秋气温较高的季节，机组喷淋系统工作，可从喷淋水箱取水用于加湿；冬季喷淋不工作时，可收集芯体产生的冷凝水，用于机房加湿再利用。加湿型式推荐采用湿膜加湿，相对传统的电极加湿、红外加湿节能超过95%。基于机房防火分区，需在机房与间接蒸发冷却机组的回风管和送风管上安装防火阀，同时需要配置隔断阀，在机组停机或故障检修时关闭，避免对其它运行机组产生交叉影响。大型数据中心的废热利用将是后续发展的方向，目前主要是将废热用于加热园区的生活用水，后续除了园区使用外，还会实现热量的远距离调配。间接蒸发冷却机组集成热回收功能将会是未来的发展方向。为了产生更大的回收量，推荐回收二次侧排风处的废热。表12间接蒸发冷却技术采用热回收的两种方案对比方案一方案二（推荐）热回收位置一次侧（机房侧）回风处二次侧（室外侧）排风处热源温度冬季（室外-20℃）38℃30℃夏季（室外30℃）38℃45℃热源来源冬季机房IT机房IT夏季机房IT机房IT+机械辅助制冷压缩机热回收换热量冬季AA夏季B1.15B新一代智能间接蒸发冷却解决方案白皮书21数据中心能源白皮书401号版本017.基于AI的新一代智能间接蒸发冷却解决方案7.1用AI技术进行能效提升随着数据中心对制冷系统提出高效、极简、智能的要求，新一代间接蒸发冷却技术应用会是以AI为核心，通过IOT、云端训练和本地推理，实现对数据中心pPUE调优、故障收敛、根因定位、无人巡检等智能控制。未来随着服务器能承受的温度越来越高，数据中心会更多的利用自然冷源，自然冷却方案将会是未来数据中心制冷方案的首选。针对设备本身，其硬件的差距越来越小，硬件节能空间有限，因此借助软件智能算法，在设备之间的协同、各运行模式之间的寻优、内部器件之间的协调等方面发力，实现极致节能。间接蒸发冷却系统以自然冷却为主，机械制冷为辅。通过智能化控制，动态调节蒸发冷却系统运行状态，与负载实时联动，最大程度降低数据中心总能耗，实现最优PUE运行。间接蒸发冷却系统的智能控制包括以下几个方面：间接蒸发冷却系统最佳效率点是实时、动态的，与配置、环境扰动等强相关。通过与上层服务器之间联动控制，根据服务器芯片温度及风扇等信息，自动实时优化蒸发冷却系统运行状态，对于提升数据中心的整体节能运行效果明显。由于服务器芯片及风扇、室内外环境温湿度、蒸发冷却系统数量及分布等信息量非常庞大，依据有限的测试数据或推导模型，难以适应全部应用场景。借助AI工具，收集大量数据，并通过机器自学习，可以实现全场景自动寻优控制。间接蒸发冷却系统与上层服务器之间的联动控制策略是，打破蒸发冷却系统传统主流采用的送风温度控制模式，以服务器入口温度为目标按需分区调节制冷量，蒸发冷却系统直接提供精确匹配的冷量。引入服务器芯片温度、风扇、室内外环境温湿度、蒸发冷却系统数量及分布等信息，并通过AI大数据自学习。通过AI训练平台，实时优化“模块内服务器+蒸发冷却系统”能耗模型，输出数据中心机房总能耗最低推理模型，实现PUE最优。如下图所示，左侧代表传统送风温度控制模式，每台IEC固定相同的送风温度，根据回风自动调节运行，机组之间没有协调也没有合作，会出现某些机组开的很大，而某些机组开的很小这样不健康不节能的情况出现。右侧例子代表联动控制模式，该模式将IT负载与间接蒸发冷却机组结合在一起，实现智能IT分区，每个区域内实现IT与间接蒸发冷却机组的联动控制，每个区域内出风温度可设置不同，这样可以得到整个数据中心最优最节能的运行。微模块微模块微模块IECIECIECIECIECIEC微模块微模块微模块IECIECIECIECIECIEC图14间接蒸发冷却机组进行IT分区与联动示意图新一代智能间接蒸发冷却解决方案白皮书22白皮书收录于“智领DC计划”群控功能定义：同一群组内，有一台机组为主机，其它为从机，主机执行群控系统需求计算并下发控制命令。1）传统群控传统群控功能一般由32台机组群控组网，多机之间协同工作，优化分配热负荷需求，降低设备能耗，群控功能主要包括：•备机：备份自动切换功能，当群组中有机组发生故障时，备份机组自动投入运行，提高系统的可靠性。•轮巡：备机定时轮换为运行机组，群组内各台机组轮流作为备份机组，各机组运行时间相当，提高平均寿命。•层叠：根据机房内热负荷的变化，自动控制群组中机组的运行数量，及时响应需求，消除热点。•防竞争运行：群组内避免多台设备同时运行在相反的运行状态（如加湿与除湿、制冷与加热等），达到整体节能的目的。•自主群控：若群控组内有一处通信线缆断开，可自动形成两个群控网络，并自动推举新主机继续群控。2）AI智能群控传统群控的主要功能是提升数据中心机房可靠性，对于多台蒸发冷却系统间的联动节能控制作用有限。实际运行过程中，室外环境温湿度及服务器负载率等实时变化，如何调度群组内所有蒸发冷却系统运行在总体最节能状态，提出了新的挑战。AI智能群控根据室外环境温湿度及服务器负载率等变化，在确保机房内温湿度控制在设定范围的前提下，动态调节群组内蒸发冷却系统的运行数量及制冷量输出，并进行最优运行组合寻优，实现整体能耗最低，PUE最优，如下图所示：图15间接蒸发冷却机组进行AI智能群控示意图外部环境变量•室外干球温度•室外相对湿度•室外湿球温度......控制变量•压缩机数量/频率•风机频率......观察变量•送风温度•送回风温差•制冷量......新一代智能间接蒸发冷却解决方案白皮书23数据中心能源白皮书401号版本01具体实施步骤为：1.数据中心中安有大量的传感器和各种仪表，这些传感器和仪表会生成大量的数据；包括IEC系统本身运行参数，数据机房内部冷热通道温度参数，机柜进风参数等；2.IEC机组自身运行参数，通过IEC单机控制器采集，机房内部的例如温度等信息，通过配置的数据采集单元进行采集，这些原始数据上报给网管系统；3.网管系统将实时采集的原始数据做数据清洗后和处理后，保存到数据库中；4.云平台数据湖从网管系统获取清洗处理后的数据，通过特征工程转换为训练数据；并使用训练数据训练能耗模型，能耗模型在评估通过后下发到网管系统的推理服务中；5.网管系统的推理服务使用能耗模型和最新采集的数据生成最优的控制策略,并将控制策略下发到IEC机组控制器；通过控制IEC机组的运行状态和工作设定参数等,最终达成综合能耗降低的目的。详细实现流程如下图所示：数据探索特征工程算法架构模型训练推理决策评估验证数据集策略下发制冷能耗的拟合图16间接蒸发冷却机组AI智能群控的控制策略示意图数据采集：采集IEC机组运行参数，例如风机转速，压缩机转速，送风温度等，IT负载，机房内部冷热通道温度及室外环境的相关运行数据。以xxx数据中心为例构建优化模型，采集了700+点位，长达xx个月的干模式，湿模式及混合模式三种制冷模式下的多样化运行数据。数据治理：利用自动化数据治理工具，对采集的运行数据进行识别、降维、降噪、清洗等处理，生成高质量的训练数据。华为强大的云平台服务，一亿条原始数据可以一个小时内完成治理，30分钟数据秒级清洗，为后续的模型训练提供高质量数据：新一代智能间接蒸发冷却解决方案白皮书24白皮书收录于“智领DC计划”特征工程：数据和特征决定了AI算法的上限。利用特征构建，对同类设备的特征进行横向/纵向处理，生成间接蒸发冷却系统特征。通过相关性分析特征工程以及业务领域知识，反复分析计算获得关系因子，找出与PUE强相关的关键特征参数，从700+个特征降维至20+个特征因子。例如IEC系统的风机转速，送风温度设定值，环境参数，IT负载等等；利用精准的特征选取来降低对模型复杂度的要求，减少超参寻优难度，提升模型的效果，执行的效率及模型的可解释性。算法架构：结合深度学习与制冷系统物理规律，引入衍生变量，包括制冷量，风量等。解耦制冷系统，从设备级拆分功率预测对象，消除不相关输入干扰，提升预测精度。充分利用中间变量信息，增加模型复杂度，进行模型训练。深入内部预测结果误差分析，进行模型架构演进和调参优化。多模型融合输出，进一步提升模型预测精度。表13AI技术的数据治理含义解读数据含义解读联合数据采集标准，统一规范数据字典，标准化云平台数据湖输入输出。数据质量提升基于通用质量评估算法，制冷设备的物理属性沉淀的约束规则和领域专家经验进行数据质量评估，生成DC节能领域质量评估模型，快速识别数据问题，缩短数据反馈流程，提升数据准备效率。数据处理自动化结合业务理解，生成清洗规则并通过云平台数据湖沉淀，一站式生成训练数据集并支持不同数据中心的快速复用。图17间接蒸发冷却机组AI智能群控的算法架构示意图环境变量控制变量单机优化模型寻优目标：Min(IEC)IEC能耗衍生变量进风干球温度制冷负载进风相对湿度室内送风温度制冷模式......室内风机频率室内回风温度室内风量室外排风温度......群组优化模型寻优目标：Min(IEC+服务器)环境变量控制变量总制冷能耗总制冷输出热通道温度冷通道温度......新风温度......IT负载送风温度IEC制冷量......EnvActiontarget服务器风扇能耗服务器出风温度服务器工作模式状态(低噪音模式)服务器纯IT负载服务器进风温度服务器工作模式状态(高性能模式)服务器工作模式状态（节能模式）样例说明Derivation新一代智能间接蒸发冷却解决方案白皮书25数据中心能源白皮书401号版本01PUE-运行台数02468100.0950.090.0850.0850%IT负载率75%IT负载率模型训练：模型训练包含模型选择，超级参数优化以及模型评估验证。对于衍生模型，选取预测效果好的算法进行训练和超参调优，分别采用小粒度超参寻优（31万种组合）及快速寻优（1.2万种组合）两种模式。使用深度神经网络，完成特征归一化及能耗模型的创建并对该模型进行反复训练，避免非凸神经网络优化容易出现的局部参数最优的问题。采用不同的训练数据及测试数据的划分方式，对模型进行交叉验证，保证模型的泛化能力。筛选变化不大或与当前工况差异较大的历史数据，提升模型对最新工况的预测精度。训练过程中，通过算法筛选不理想的模型，提升模型的整体预测能力。推理决策：在线推理：使用遗传算法或者贪婪算法等优化算法，从所有控制参数组合的1500万种原始制冷策略中寻找出最符合当前IT负载、室外环境，并且满足业务保障的控制参数组合，将预测以及优化决策模型发布到网管系统中，可实时在线计算出当前状态下最佳控制参数。寻优模式：寻优模式分为稳态寻优和非稳态寻优，制冷系统在调节参数后达到稳态需要较长的时间，稳态寻优的在线推理模型受限于系统达到稳态的时长，效率低；强化学习为非稳态寻优，在系统尚未达到稳态时即可进行下一轮迭代，缩短系统收敛时间。节能效果评估方案一：通过对比AI优化期间的能耗与历史数据中近似工况（室外环境，IT负载）的时间区间的平均能耗，评估节能效果。方案二：通过对比AI参数下发后系统中真实的制冷能耗，与基于模型及群控参数预测的相同工况下运行传统群控参数的制冷能耗，评估节能效果。以某数据中心机房为例（如下图所示），共有8台蒸发冷却机组，N+1配置，当服务器负载率在50%时，运行6台蒸发冷却机组时（每台机组制冷输出40%），此时整体PUE最优。图18间接蒸发冷却机组AI智能群控的节能效果评估示意图新一代智能间接蒸发冷却解决方案白皮书26白皮书收录于“智领DC计划”单台间接蒸发冷却机组在不同室外环境温湿度、不同制冷量输出时，为实现能耗最低，存在运行模式的最佳切换点。实际运行时，可根据服务器负载率和室外环境温湿度的变化，自动对不同运行模式进行寻优控制，实现能耗最低，能效最优。以某IEC为例（如下图所示），当室外温度为10℃时，当负载率在50%时，运行在湿模式情况下功耗最小，能效最优。功耗干模式湿模式混合模式与此同时，在混合模式下，在保证当前的冷量输出不变，送风温度不变时，为实现单台机组能耗最低，存在机组内部器件的最佳匹配工作状态。实际运行时，可根据内置AI模型，推理计算在当前冷量下的最优内部器件运行状态组合，实现能耗最低，能效最优。以某IEC为例（如下图所示），当室外温度为20℃时，当负载率在75%时，运行在混合模式，室外风机转速80%情况下，运行状态2的功耗最小，能效最优。运行状态1：内风机80%；外风机100%；水泵开启；压缩机转速1900rpm；送风温度25℃；运行状态2：内风机80%；外风机80%；水泵开启；压缩机转速2700rpm；送风温度25℃；运行状态3；内风机80%；外风机60%；水泵开启；压缩机转速3600rpm；送风温度25℃；功耗运行状态14035302520151050运行状态2运行状态3图20不同状态组合实现相同制冷量输出的功耗对比示意图图19间接蒸发冷却机组在10℃、50%负载时的功耗对比示意图新一代智能间接蒸发冷却解决方案白皮书27数据中心能源白皮书401号版本017.2用AI技术进行故障预测间接蒸发冷却系统的智能运维包括以下几个方面：间接蒸发冷却系统所包含器件多，正常人工巡检工作量巨大，且需要的专业性很高，因此会造成很高的巡检费用。上述的智能运维，是借助智能传感器，例如摄像头，拾音器，振动传感器等，匹配智能算法，针对间接蒸发冷却系统进行全自动巡检，识别异常，定期输出巡检报告。具体数据采集，数据上传处理，模型训练，策略下发，与上以一章节提升能效类似。间接蒸发冷却系统当前所包括的巡检项目众多，例如：1.针对风机，进行异响检测，判断风机运行有误干涉和异物，确定风机是否抖动，风机电流是否正常等；2.针对压缩机，进行压缩机异响检测，确定压缩机运行参数是否正常，高压开关等器件是否正常动作，驱动是否正常等；3.针对水泵，进行水泵异响检测，判读水泵接口是否松动，管路是否漏水等；4.针对喷淋系统，判断喷嘴是否脏堵，水盘是否有异物；5.针对其他器件，判断其外观是否破损，各个功能器件功能是否正常，过滤网等是否脏堵，内部是否漏水等。上述巡检项目，需要大量专业人员，花费大量时间进行巡检，效率低。因此可采用智能巡检进行，在间接蒸发冷却系统内部合适位置，布置智能传感器，例如摄像头，拾音器等。实时对内部器件进行监控，发现异常及时告警。也可以定期进行全面自动巡检，内置智能算法，对收集到的声音，图像等数据进行数据标注，数据处理，数据分析，模型处理，输出结果。巡检任务周期性启动，采集图像和声音等数据后，在边缘侧完成推理，识别异常，在网管侧生成检测任务报告，供客户查询。图像和声音等识别到异常时，进行异常提醒。可支持通过现场实时图像和声音、检测时刻图像和声音进行二次判断与确认。图21间接蒸发冷却机组用AI技术进行故障预测示意图声音识别正常异常无操作异常提醒人工二次判断维护图像识别正常异常无操作提醒维护判定为正常判定为异常新一代智能间接蒸发冷却解决方案白皮书28白皮书收录于“智领DC计划”8.间接蒸发冷却解决方案应用案例8.1国内应用案例间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，但随着数据中心爆发式的增长，单层或两层的数据中心占地大的劣势会越来越明显，多层数据中心会成为主流；同时，机组室外布置会对日常运维带来诸多不便。对间接蒸发冷却机组而言，多层室内应用将会成为主流场景。间接蒸发冷却机组在多层数据中心室内使用时，需要建筑进行针对性的适配设计，设置单独的设备安装间，主要用于间接蒸发冷却机组、风管、维护通道、排风井的布置。结合机组的特征和建筑的经济性考虑，建议设备安装间的长度为7~9m（层数差异会影响排风井的尺寸），粱下净高一般不低于4.5m。不同楼层的机组室外排风通过排风竖井统一排放到建筑顶部，以免产生热气流回流。在每层的预留1~2个吊装孔，其尺寸与机组尺寸相匹配，机组从吊装孔进入对应楼层后，在设计安装间内平移到对应的安装位置，因此，排放竖井需要设置在机组端部，不能设置在两台机组之间而导致机组无法平移，影响后续维护或扩容。从整体来看，单层建筑需包含机房、对应的配电间、及对应的管井、线井等，实现“一层一DC”，方便分期建设和后续按需扩容。1)乌兰察布某数据中心该项目一期8MW，共1056个机柜。由5层共368个预制模块箱体堆叠，其中2~5层应用间接蒸发冷却解决方案制冷，下送风至机房内，模块内采用密闭热通道方案，通过吊顶回风，温度设计在37℃。每层采用14套华为FusionCol8000-E220间接蒸发冷却产品，共计56套，15天所有设备就位，4个月完成全部安装，缩短建设周期TTM50%+。图22乌兰察布某数据中心应用间接蒸发冷却技术案例新一代智能间接蒸发冷却解决方案白皮书29数据中心能源白皮书401号版本012019年5月该数据中心业务上线，上线负载为50%，年均PUE低至1.15，数据中心年省电费12.2%。数据中心应用该技术产品后每年节省用电491万kW•h，节约用能2215tce/a,减排4724吨二氧化碳。乌兰察布的全年气象数据如下：表14乌兰察布气象数据2)临沂某数据中心该项目规模一期300个机柜，其中低密区4kW/柜，高密区8kW/柜，共使用10套FusionCol8000-E220,3个月完成所有部件安装，缩短50%TTM,年均PUE降至1.25，数据中心年省电费11.3%。图23临沂某数据中心应用间接蒸发冷却技术案例新一代智能间接蒸发冷却解决方案白皮书30白皮书收录于“智领DC计划”临沂市的全年气象数据如下：表15临沂市气象数据表16泰国曼谷气象数据1)泰国某数据中心该项目位于曼谷，设计总规模2000机柜，总配电容量10MW，分为四期建设，其中一期为500机柜。在第一期项目中，采用了10套间接蒸发冷却机组，将PUE从传统同类型数据中心的1.7降低至1.4，年省电费12.5%。同时，间接蒸发冷却解决方案支持该项目实现平滑扩容、按需部署。泰国曼谷的全年气象数据如下：8.2国外应用案例新一代智能间接蒸发冷却解决方案白皮书31数据中心能源白皮书401号版本01表17智利圣地亚哥气象数据表18澳大利亚悉尼气象数据2)智利某数据中心该项目建设404个机柜，功率密度5kW/柜，采用间接蒸发解决方案，实现pPUE低至0.079，相比于同地区采用冷冻水方案的数据中心，三年TCO降低19.3%。智利圣地亚哥的全年气象数据如下：3)澳大利亚某数据中心该项目位于悉尼，建设48个机柜，功率密度10kW/柜，采用间接蒸发解决方案，实现数据中心PUE低至1.27，年省电费13.6%。同时，因为间接蒸发冷却解决方案采用了预制化、模块化的设计，机组安装时间缩短至1个月内完成。澳大利亚悉尼的全年气象数据如下：新一代智能间接蒸发冷却解决方案白皮书32白皮书收录于“智领DC计划”表19英国伦敦气象数据表20瑞士苏黎世气象数据4)英国某数据中心该项目是一个多层数据中心，每层有528个机柜，功率密度4.32kW。间接蒸发冷却机组安装在2-7层的建筑内部，数据中心PUE达到1.16。英国伦敦的全年气象数据如下：5)瑞士某数据中心该数据中心面积约900平方米，采用间接蒸发冷却解决方案，PUE达到了1.15，T4等级，99.998%的可用性。瑞士苏黎世的全年气象数据如下：新一代智能间接蒸发冷却解决方案白皮书33数据中心能源白皮书401号版本01表21爱尔兰都柏林气象数据6)爱尔兰某数据中心该数据中心总IT负载15.36MW，8kW/机柜，采用120套华为FusionCol8000-E间接蒸发冷却解决方案，实现全年100%自然冷却，年均pPUE=0.09。爱尔兰都柏林的全年气象数据如下：新一代智能间接蒸发冷却解决方案白皮书34白皮书收录于“智领DC计划”附录：全国部分城市的温度分布系数表全国部分城市的温度分布系数参见GB/T19413-2010标准中的附录B，内容如下所示表B.1温度分布系数温度分布系数TaTbTcTdTe城市温度区间/℃≥30≥20，<30≥10，<20≥0，<10<0兰州3.3%20.5%30.1%25.7%20.4%贵阳0.8%33.1%37.3%28.2%0.6%石家庄9.3%27.2%24.5%24.9%14.2%哈尔滨2.2%19.1%22.7%18.7%37.4%长春0.6%19.1%24.8%18.5%37.1%沈阳4.1%22.2%23.5%21.6%28.7%呼和浩特3.6%19.8%26.0%18.5%32.1%西宁0.7%8.6%29.5%28.7%32.5%银川1.6%20.9%28.1%22.7%26.7%太原1.4%23.9%28.2%25.9%20.5%成都3.7%33.0%39.4%23.5%0.4%拉萨0.0%8.6%41.2%34.5%15.6%乌鲁木齐4.0%22.8%22.4%17.1%33.7%昆明0.0%21.9%52.5%23.9%1.7%合肥8.2%34.3%27.3%28.0%2.3%北京7.2%28.1%23.1%21.0%20.6%福州8.7%44.7%36.2%10.4%0.0%广州12.7%54.0%28.3%5.1%0.0%桂林7.0%42.7%32.4%17.9%0.0%南宁12.3%54.4%29.0%4.3%0.0%海口12.8%63.2%22.4%1.6%0.0%郑州6.9%29.6%25.5%23.0%15.0%武汉12.8%33.1%27.8%25.0%1.3%长沙11.5%33.3%27.1%26.2%1.9%南京7.7%29.8%26.9%27.6%7.9%南昌12.9%34.9%27.3%24.1%0.8%济南10.8%28.4%24.8%27.0%9.0%西安6.0%27.8%28.8%26.7%10.8%天津6.6%26.9%24.6%23.8%18.0%上海8.4%34.1%28.8%26.6%2.1%杭州6.0%37.3%28.8%26.6%1.3%重庆9.4%32.4%40.5%17.7%0.0%注：数据来源于中国气象局气象信息中心气象资料室和清华大学建筑技术科学系编著的《中国建筑热环境分析专用气象数据集》。该数据集以全国270个地面气象站从1971年到2003年共30年的实测气象数据为基础。华为技术有限公司深圳市龙岗区坂田华为基地电话:(0755)28780808邮编:518129www.huawei.com免责声明本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息，恕不另行通知。版权所有©华为技术有限公司2021。保留一切权利。非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不得以任何形式传播。商标声明，，是华为技术有限公司商标或者注册商标，在本手册中以及本手册描述的产品中，出现的其它商标，产品名称，服务名称以及公司名称，由其各自的所有人拥有。如果您对本白皮书有任何意见，请联系联系我们：dcfacilitymo@huawei.com智领DC计划“智领DC计划”是以创新研究与应用为核心，通过知识分享、行业使能、生态合作，打造创新合作开放平台，汇聚行业智慧，促进产业持续发展。本计划组织业界专家编著系列“数据中心能源白皮书”，敬请关注。