数据中心液冷技术应用研究进展

摘要：液冷技术可以提高散热密度，节能减排，减少数据中心的碳足迹，对数据中心液冷技术的应用具有积极的科学意义。不同的液冷技术及其冷却液应用于数据中心。总结了近年来国内外数据中心液冷技术在冷却温度、节能效率和热回收性能方面的应用研究进展。结果表明，液冷技术冷却温度高，节能效果明显，热回收性能优异。数据中心液冷技术的应用研究方向是指合理分配使用侧和冷源侧的温差，提高部分负载下液冷系统的节能性，探索冷却温度、节能效率和热回收性能之间的最佳耦合关系。数据中心液冷技术的应用仍需不断实践和深入探索。

关键词：数据中心、液冷技术、冷却液、冷却温度、节能效率、热回收性能、研究进展

引言

2020年，全球信息通信技术(ICT)行业的温室气体排放量约占全球温室气体排放量的3%~6%，预计2030年将达到全球温室气体排放量的23%左右。ICT行业的能耗主要来自终端设备、网络设施和数据中心，如手机、计算机、电视等，其中数据中心能耗最大。2019年，中国数据中心年耗电量约为600亿~700亿千瓦·h，占全社会用电量0.8％～1.预计2030年中国数据中心总规模将是2019年的2~3倍，其耗电量将达到社会总耗电量的1倍.5％～2.而数据中心的制冷空调系统用电量占整个数据中心的30%~50%，根据《中国区域电网基准线排放因子》中的加权平均值(0.5874～0.7798)计算数据中心制冷空调系统用电产生的碳排放量相当大，碳减排是实现碳中和的四种主要途径之一(碳替代、碳减排、碳密封和碳循环)。为实现数据中心制冷空调系统的节能减排，行业对热管、江湖水、乙二醇动态自然冷却、冷却塔、风冷冷水机组、制冷剂泵、间接蒸发冷却、转轮换热、新风直接自然冷却等制冷方法进行了大量相关研究。为实现数据中心制冷空调系统的节能减排，行业对热管、江湖水、乙二醇动态自然冷却、冷却塔、风冷冷水机组、制冷剂泵、间接蒸发冷却、转轮换热、新风直接自然冷却等制冷方法进行了大量相关研究。液体冷却技术可直接利用自然冷却，显著降低功耗，有利于减少数据中心的碳排放。此外，云计算、大数据、5G网络建设带来了5G交互式增强现实（AR）、天数据处理等高通量计算业务，严重挑战了服务器芯片的散热，芯片热封装壳体温度不断提高，达到了风冷散热的极限。液体的比热容量是空气的1000~3500倍，导热性是空气的15~25倍。因此，对于散热密度较高、热容量较大、导热速度较快的液体冷却成为最佳选择。随着国家和地方政策的推进，液冷技术在数据中心的应用也将取得巨大的发展，开展数据中心液冷技术的应用研究具有重要意义。本文梳理了液冷技术在数据中心的应用研究。

液冷数据中心

电子设备是指由集成电路、晶体管、电子管等电子元件组成子管等电子元件组成的设备。液体冷却技术是一种冷却技术，利用液体介质直接或间接接触热源，然后通过冷却液传递热量。由于液体介质具有换热系数高、流动性好、稳定性高的特点，在电子设备冷却中得到了越来越多的应用。

1 液冷技术电子设备

电子设备液冷技术有直接冷却和间接冷却，直接冷却有射流冲击、喷雾冷却和浸没。间接冷却主要是指宏观循环水冷和冷板液冷。射流冲击是一种直接将液体工质喷射到热交换表面以达到良好散热效果的技术。喷射流体通常利用压差通过一定形状的孔（圆形、矩形、椭圆形等）或狭缝后的高流速对冷却板表面产生高速冲击。根据换热过程中液体工质是否相变，射流冲击分为相变换热和单相换热。射流冲击相变换热不仅降低了流动边界层的厚度，而且利用了蒸发时的相变潜热，对流换热效果更好。射流冲击主要用于电力电子设备，数据中心的实际应用案例很少。

喷雾冷却利用喷嘴将液态工质雾化成微小液滴，喷射到换热表面并形成一层连续的冷却薄膜，随着液膜流动或冷却液体蒸发带走热量。喷雾冷却常用于飞机和宇航系统的散热，以降低灌封的流体质量EA-6B电子干扰机雷达采用冷却技术，CrayX-I超级计算机冷却也试图应用。服务器上仍需进一步研究喷雾冷却的密封性和材料相容性，没有其他数据中心使用喷雾冷却的相关报告。

宏观循环水冷系统将储罐的冷却液送至与热源直接接触的冷板，吸收热量后进入散热器，冷却后再进入储罐，形成完整的冷却循环。该水冷系统结构简单，稳定可靠，广泛应用于军事电子设备中。但需要提高系统的散热效率，进一步优化系统设备的尺寸，无数据中心应用案例。

2 液冷类型的数据中心

数据中心服务器是一种比普通计算机运行更快、负载更高的计算机。中央处理器通常为网络中的其他客户提供计算或应用服务（CPU）、由硬盘、内存及系统、系统总线等组成，也属于电子设备的范畴。根据其外观和应用环境，服务器一般可分为塔式服务器、机架式服务器、刀片式服务器和机柜式服务器。塔式服务器的形状和结构以及通常使用的垂直个人计算机（PC）同样，机箱大，占用空间大。机架式服务器外观按统一标准设计，与机柜统一使用，高度为Ｕ为单位（1Ｕ＝44.一般有1、2、3、4、5、6、7U几种标准。作为服务器的关键部件CPU，例如，英特尔上一代的SandyBridge功耗随着性能的提高而显著增加根据高密度服务器1U，最新一代Skylake的功耗达到240W高度４块CPU计算，则1Ｕ服务器的散热量可达960W，常规42U机柜散热量高达40.3 ｋＷ。据文献38统计，42U机柜的散热量甚至达到50.4ｋＷ。据文献38统计，42U机柜的散热量甚至达到50.4kW。刀片式服务器包含多个刀片式服务器，通过机箱集成电源和气流分配模块来减少空间需求。每个刀片都是系统的主板，集成度更高，比机架式服务器节省更多的空间。随着刀片式服务器性能的不断发展，最初的刀片只有2块CPU，现在刀片上只有图形处理器（GPU）高性能计算服务器单机柜的热量将在3年内达到60~100kW，5年内达到100kW以上。有的服务器内部结构复杂，设备多，有的有很多不同的设备单元，或者一个机柜里放了几个服务器。这种服务器是机柜服务器，适合快速集成部署应用场景。

20世纪90年代，集成电路发展为互补金属氧化物半导体（CMOS），导致电子设备的功率和包装密度迅速增加。CMOS的计算能力远远超过以前的双极晶体管。高功耗和高包装密度带来了前所未有的冷却需求。事实上，在此之前，行业实践发现液冷是满足多芯片模块快速增长冷却需求的合适技术。最早的CPU20世纪80年代末90年代初，液冷散热器使用直径4cm的铝制散热器。经过多年的探索和发展，实际应用于数据中心的液冷主要有两种方式：浸没式和冷板式。浸入式液冷将服务器中的所有硬件直接浸泡在工程液体中，依靠流动的工程液体吸收服务器的热量。根据工程液体散热过程中是否发生相变，可分为单相浸没式液冷和两相浸没式液冷。如图1a所示，冷却液在散热过程中始终保持液体不变。低温冷却液直接接触加热电子元件，温度升高后进入板式热交换器，室外冷却循环冷却后进入液体冷却罐冷却服务器。冷却液在整个散热过程中无挥发性流失，控制简单。如图1b所示，浸泡在液冷罐冷却液中的服务器产生的热量提高了冷却液的温度。当温度达到沸点时，冷却液开始沸腾，产生大量气泡。气泡逃到液面上方，在液冷槽中形成气相区，冷却液冷却成液体后返回液冷槽液相区。冷凝管中加热的水由循环泵驱动进入室外散热设备进行散热，冷却后的水再次进入冷凝管循环。两相浸没式液体冷却液在散热过程中相变，采用冷却液的蒸发潜热，传热效率较高，但压力波动，控制复杂。

图１数据中心浸入式液冷架构图

在过去的两年里，一家国内制造商提出了如图2所示的喷雾液体冷却系统，使用低温冷却液直接喷雾芯片和加热单元，吸热高温冷却液热变成低温冷却液，再次循环到服务器喷雾，过程中没有变化，与单相浸没液体冷却大致相似，其基本思想是冷却液和服务器直接接触散热，区别在于加强对流热，冷却液集中在储罐中，液冷柜中的冷却液量少于浸没式。理论上，冷却液在循环散热过程中没有相变，但在喷涂过程中遇到高温的电子部件冷却液会优雅，从而影响机房和设备环境。

图２ 数据中心喷淋式液冷架构示意图

冷板液冷却液不直接接触服务器部件，而是通过冷板换热，因此称为间接液冷。目前绝大多数服务器芯片使用微通道冷板，以增加换热系数。类似于浸没式，根据冷却液在冷板中是否相变，分为单相冷板液冷和两相冷板液冷。两相冷板液冷利用液泵进入冷板，吸热后蒸发成气体，然后用水冷凝器冷却成液体，并将热量排入冷却水系统，冷却后的制冷剂进入集液器进行气液分离，然后进入过冷器进行过冷，以确保液泵的吸入口为液体制冷剂，然后液泵驱动制冷剂反复循环，或使用压缩机循环，冷板蒸发的制冷剂通过压缩机压缩，然后进入水冷凝器进行冷却。通常，液泵和压缩机的两个系统被设计为备用。两相冷板液冷系统复杂，在狭窄的冷板中蒸发蒸发会影响冷却液的流量稳定性，导致系统压力和温度波动最大可能导致过热。两相冷板式液冷在数据中心的实际应用案例并不多见。

单相冷板式液冷是采用泵驱动冷却液流过芯片背部的冷板通道，冷却液在通道内通过板壁与芯片进行换热，带走芯片的热量。换热后的冷却液在换热模块中散热冷却。由于冷板只集中冷却ＣＰＵ、集成电路、随机存取存储器（ＲＡＭ）及 ＧＰＵ等核心发热部件，服务器的其他电气元件仍需风冷散热。数据中心常用冷板式液冷的应用架构如图３所示。

图３ 数据中心冷板式液冷架构示意图

热管技术利用热传导原理与相变介质的快速热传递性质，通过热管将发热物体的热量迅速传递到热源外。典型的热管由管壳、吸液芯和端盖组成，将管内抽成负压后充以适量的工作液体，使紧贴管内壁的吸液芯毛细多孔材料中充满液体后加以密封。当热管的一端受热时毛纫芯中的液体蒸发汽化，蒸汽在微小的压差下流向另一端放出热量凝结成液体，液体再沿多孔材料靠毛细力的作用流回蒸发段。热管在数据中心有不同的应用形式，用于冷水机组的有重力热管、气泵驱动复合热管，空调末端有吊顶热管、背板式热管、环路热管机柜等形式。这些热管应用于主机冷源侧，末端房间级、通道级或机柜级的冷却，冷却液并未进入服务器内部，未涉及芯片液冷，不在本文讨论范围内。用于数据中心液冷的芯片热管如图４所示，其芯片液冷热管散热器由热沉、热管及冷板组成，与单相冷板式液冷相比，冷却液与芯片的物理距离远一些，有利于抵御漏水风险，但是冷却液与热管中的冷媒再进行一次换热，换热就必定存在损耗，同时用于服务器中的热管尺寸小，相关的性能如压降、质量流量及散热量需要进一步探索优化。若把热管散热器看成一个整体，也可以认为是冷板式液冷。

图４ 液冷芯片热管

由于服务器需要完全浸泡在冷却液中，故浸没式液冷需要专门的液冷槽，无法利用常规服务器机柜，而且要求地板承重在1000ｋｇ／m²以上；喷淋式液冷需要与喷淋式服务器配套的机柜；而板式液冷仅需将服务器芯片的风冷热沉替换为散热冷板，主流服务器厂商均可提供与常规风冷服务器尺寸一致的机架式、刀片式冷板液冷服务器，故冷板式液冷可以利用常规风冷服务器的机柜，甚至同一机柜中既可布置风冷服务器，也可安装冷板式液冷服务器。所以浸没式及喷淋式液冷适用于结构承重经过特殊加固的新建项目，冷板式液冷既适用于新建项目，也适用于改造项目。根据相关资料，喷淋式液冷目前单机柜最大负载为48ｋＷ，冷板式及浸没式液冷均有单机柜高达200ｋＷ 的解决方案。

3 冷却液

无论哪种液冷形式，最终都是通过室外侧的循环水将热量带走，水低于０℃将凝固结冰，所以为了防止系统结冰涨管，极端最低温度低于０℃的地区均需在冷源侧散热水循环系统中加入乙二醇防冻剂。不同液冷形式对于使用侧冷却液的要求并不相同，单相冷板式液冷通过冷却液在冷板内吸热降低芯片温度，不允许出现汽化现象，相对于普通的绝缘液体和制冷剂，由于水的高沸点及良好的传热性能，使其成为单相冷板式液冷的理想冷却媒介。考虑出厂运输过程及投入使用后间歇运行的极端天气状况，单相冷板式液冷系统厂商通常要求在使用侧采用预混合25％丙二醇（ＰＧ）的冷却液。２种常用防冻剂的主要热物性参数及不同质量浓度水溶液的凝固点如表１所示。

表１ 常用防冻剂的主要热物性参数及不同质量分数水溶液的凝固点

两相冷板式液冷使用侧为微型机械制冷循环，适用的低沸点绝缘制冷剂较多。业内学者利用R１３４ａ、R２３６ｆａ、R２４５ｆａ及 R４０７Ｃ等制冷剂进行了大量的两相冷板散热实验研究，得到了两相冷板式液冷的相关性能参数。表２汇总了部分适用于两相冷板式液冷的制冷剂的热物性参数。

表２ 部分两相冷板式液冷制冷剂的热物性参数

热管冷板式液冷冷板内实际上为朗肯制冷循环，热管内的工质需要考虑工作温度、传热性能及该工质与管壁、吸液芯的兼容性。甲醇、氨、丙酮及乙醇等都是合适的热管工质；制冷剂Ｒ１４１ｂ、Ｒ１２３及Ｒ１３４ａ在热管冷板中也有良好的散热性能；事实上，水也是良好的热管工质。表３给出了部分热管冷板式液冷热管工质的热物性参数。

表３ 部分热管冷板式液冷热管工质的热物性参数

由于浸没式液冷系统的冷却液直接和电子器件接触，必须确保冷却液与电子器件的绝缘。同时，良好的热物理性能、化学及热稳定性、无腐蚀且环境友好也是该类冷却液非常重要的特性。两相浸没式液冷系统的冷却液需要合适的沸点、较窄的沸程范围及高汽化潜热。硅酸酯类、芳香族物质、有机硅、脂肪族化合物及氟碳化合物等都被尝试应用于两相浸没式液冷。由于氟碳类化合物具有更优的综合性能，是目前常见的电子设备液体冷却剂。单相液冷需要高沸点，矿物油可作为单相浸没式液冷的冷却液。实验证实，具有全氟碳结构的氟化液是良好的单相浸没式液冷冷却液。表４汇总了数据中心浸没式液冷系统部分常用冷却液的主要物性参数。表中并没有将喷淋式液冷冷却液单独列出，如前所述，喷淋式液冷可认为是一种特殊的单相浸没式液冷，故理论上单相浸没式液冷冷却液均可采用。当然，无论是用于冷板式还是浸没式液冷的冷却液，除了关注热物性参数外，还应考虑环保评价参数如臭氧消耗潜能（ODP）及全球变暖潜能（GWP），根据相关政策依法依规选用。

表４ 数据中心浸没式液冷部分适用冷却液的主要物性参数

冷却温度

提高冷却温度，降低冷却系统的能耗是数据中心利用液冷的主要目的之一。大量实验研究表明，虽然液冷方式各不相同，但由于冷却液均更接近发热源，绝大部分液冷服务器的冷却液进口温度高于常规风冷服务器数据中心的供水温度，部分液冷服务器实验冷却液进口温度统计见表５。可以看出，除两相冷板式液冷外，其余液冷服务器实验的供液温度均高于30℃，部分实验的冷却液进口温度甚至高达60℃。

表５ 部分液冷服务器实验冷却液进口温度

表６汇总了部分实际液冷项目的冷却液进（出）口温度。可以看出，不同项目冷源侧及使用侧的温差各不相同；另外，尽管数据中心液冷的理论进口温度高，但无论是在有关云计算、超算还是有关模拟器的具体项目上，为了确保服务器芯片工作温度距离极限温度有足够余量，冷源侧的供液温度通常不超过45℃。当然，实际运用过程中，可依据配置服务器的实际性能对系统冷却液进口温度作进一步调整，依据相关报道，德国慕尼黑莱布尼茨超算中心实际运行的冷源侧供液温度达到50℃。

表６ 部分液冷项目冷却液进（出）口温度

尽管液冷冷却液与电子元器件的温差可以远小于风冷散热，15 ℃温差即可满足散热需求，但并不意味着可以一味提高进口温度。研究表明，冷却液进口温度升高，通信线路中的电阻和微处理器中的泄漏电流将增加，服务器的功耗随着冷却液进口温度升高而增加。文献［１９］研究发现，冷却液的进口温度从30℃提升至60℃，服务器的功耗增加7％；Ｓｈｏｕｋｏｕｒｉａｎ等人对超算服务器进行测试，得到如图５所示的服务器节点功率与冷却液进口温度曲线图。尽管单个服务器节点的功率增加不大，但是中大型数据中心服务器节点数量多，全部节点增加的能耗也相当可观。

图５ 服务器节点功率与冷却液进口温度曲线图

提高冷源侧散热温度有利于扩大室外自然冷却温度范围，降低散热风机的功耗；增大换热温差、提高冷却液的进口温度有助于实现系统循环泵的节能。另一方面，提高冷却液的进口温度会增加服务器的运行功耗。所以在具体项目上，应合理设计服务器冷却液进口温度，进一步探讨冷源侧及使用侧的最优温差分布，以实现服务器及其散热系统的整体性能处于最佳状态。

数据中心液冷系统的进口温度高，可以充分利用自然冷却，整套系统只有循环泵及室外散热风机的功耗，具有良好的节能效果。电能使用效率PUE（ｐｏｗｅｒ ｕｓａｇｅｅｆｆ ｅｃｔｉｖｅｎｅｓｓ）是数据中心能效的指标，该数值定义为数据中心消耗的所有能源与ＩＴ负载消耗能源的比值。其值大于１，越接近１表明非ＩＴ设备耗能越少，即能效水平越好。而部分 电 能 使 用 效 率 PPUE （ｐａｒｔｉａｌ  ｐｏｗｅｒ  ｕｓａｇｅ  ｅｆｆｅｃｔｉｖｅｎｅｓｓ）是某子系统内数据中心总能耗与ＩＴ设备总能耗之比，不需要考虑数据中心其他子系统的性能，可以直观体现该子系统的节能情况。

文献［55］按照全部风冷服务器、50％风冷与50％冷板式液冷服务器混搭及全部冷板式液冷服务器对某数据中心进行分析，发现３种不同方案的PPUE分别为1.39、1.29及1.18，若对原有机房改造，将风冷服务器改成液冷服务器，保持原风冷空调辅助散热，则散热系统的PPUE将低至1.13，所以无论是新建数据中心还是改造原有机房，采用冷板式液冷都将大幅降低制冷功耗。

肖新文建立了冷板式液冷数据中心的能耗模型，对分布在我国不同热工区属的36个城市的液冷数据中心进行了节能分析，计算发现所有城市的PPUE均低于1.13，冷板式液冷系统在我国各地均具有显著节能潜力，同时指出降低液冷服务器的风冷辅助散热比例、提高风冷辅助散热系统的能效将进一步降低整体散热系统的PPUE。

为了提高风冷辅助散热系统的性能，文献［21］提出了将冷板式液冷与动态自然冷却空调系统相结合的散热方案，该散热方案的计算PPUE可低至1.09。

Ｃｈｉ等人实测了浸没式液冷原型机柜的性能参数，并假设ＩＴ 负载满载运行的前提下，利用实验得到的相关参数对散热量为250ｋＷ 的数据中心进行了计算分析，结果发现该浸没式液冷数据中心的PPUE为1.14。

严逊等人搭建了浸没式液冷实验台，利用假负载测试得到不同室外温度、不同负载功率下的PPUE在1.05～1.28之间，同时发现PPUE随着负载上升而降低。

表７汇总了部分液冷项目的电能使用效率。可以看出，无论项目的规模大小、项目所处的纬度及气候区，液冷均可以明显降低数据中心的PUE，几乎所有项目的犘犝犈 都低于1.2；浸没式及喷淋式液冷不需要风冷辅助散热，具有更低的PUE，大部分实际项目的PUE均低于1.1。另一个值得关注的是大部分项目是在满负载下的实测／计算PUE，Ｋａｎｂｕｒ等人则做了部分负载下的测试，发现当负载降至３７％（由9.17ｋＷ 降至3.4ｋＷ）时，PUE由1.15显著提高至1.4，变化趋势与文献［96］一致。室外散热设备及循坏泵通常按照设计流量及工况选型，部分负载下的性能表现有待提高。

表７ 部分液冷项目电能使用效率

热回收性能

数据中心发热量大，若直接冷却排入大气，不仅造成能源浪费，也会造成全球气候变暖。合理回收余热有利于降低数据中心碳足迹，数据中心热回收利用方式有区域供热、直接发电、间接发电、吸收式制冷、海水淡化及生化质能提炼等。

风冷服务器数据中心的废热温度区间通常在25～35℃，而液冷系统可在靠近CPU 等集中发热的部位捕获热量，这些部件的工作温度较高，CPU的工作温度上限通常为85 ℃，即使冷却液冷却温度高达60℃，仍能保持部件温度低于极限温度。液冷系统可以在40～60 ℃温度下利用废热，此温度区间的余热回收品位更高。

为了确定采用的热回收技术及应用策略，Ｚｉｍｍｅｒｍａｎｎ等人通过分析，引入了基于电力和矿物燃料成本、热回收效率和特定应用效用函数的余热回收经济价值指标———热经济价值（VH），其计算式如式（１）所示。

式中U为应用效用函数，不同的热回收应用值不同；Cff为燃烧化石燃料产生１ｋＷ·ｈ热量的成本；Cel为１ｋＷ·ｈ的电力成本；η１ｓｔ为热回收效率。

由式（１）可以看出，回收热量的应用经济价值是由使用电力和化石燃料的成本确定的，不同国家及地区的数值并不一致；而热量则是数据中心运行温度的函数，取决于热回收效率；热量的实际价值应根据所选的热回收应用方式进行评估，不同应用方式的应用效用函数不同。设定Ｓｉｇｍｏｉｄ函数在特定的温度范围内从０变为１，然后保持不变，与热水供暖特性相符，可用于数据中心余热回收供暖热经济价值的效用函数。

文献［101］按照欧洲平均电力及化石燃料成本计算得到了如图６所示分别基于石油及天然气的热经济价值曲线。同时，将以卡诺效率因子作为单位热量标准量的热力学价值及基于朗肯循环（效率为50％）的发电价值曲线也绘制在该图中。由图６可见，回收数据中心余热供暖，可直接利用热量，而无需转换为机械功，经济价值高于其热力学价值。

图６ 热经济价值曲线

Davies等人对采用风冷、液冷＋风冷及全液冷等不同冷却散热系统的样本数据中心进行热回收效益分析，发现利用热泵回收3.5ＭＷ 全液冷数据中心的余热作为区域供热的热源可以每年减排二氧化碳4102t。

文献［108］建立了利用全热回收冷水机组回收位于上海的某冷板式液冷数据中心的余热作为区域供热热源的方案模型，对该样本进行效益分析后发现，每个供暖季可节省标准煤约3657ｔ，而且液冷系统水温高，热回收耗电效率是风冷散热的2.78倍，热回收效益大。

ＴＧＧ 及ＩＳＯ 提出采用能源重复利用系数ERF（ｅｎｅｒｇｙ  ｒｅｕｓｅ  ｆａｃｔｏｒ）来量化数据中心消耗能源的再利用情况，可用于评价数据中心的余热回收性能，如式（２）所示。

式中 Ere为回收重复使用的能源；EＤＣ为数据中心消耗的所有能源，不仅包括ＩＴ 设备消耗的能源，也包括数据中心辅助设施如冷却散热、照明及配电等系统的所有耗能。

由式（２）可知，ERF越大表明热回收重复利用的能源越多。

Ｏｒó等人提出回收冷板式液冷数据中心的余热用于泳池加热，利用 ＴＲＮＳＹＳ软件对全部液冷服务器并联、每２台液冷服务器串联、每３台液冷服务器串联及每４台液冷服务器串联４种不同的连接方式进行热回收效益分析，得到如图７所示的热回收性能。可以看出，４台服务器串联的方式具有更优的热回收性能，ERF超过0.45，冷却液与服务器芯片充分换热，冷却液温度越高越有利于回收更多余热。

图７ 不同应用连接方式的年能耗、热回收量及能源重复利用系数

再 生 能 源 利 用 效 率 ERE（ｅｎｅｒｇｙ   ｒｅｕｓｅ  ｅｆｆｅｃｔｉｖｅｎｅｓｓ）是另一个用于评估余热回收的性能指标，其计算式为：

式中 Eｃ为数据中心制冷消耗的能源；Eｐ为数据中心配电消耗的能源；Eｌ为数据中心照明消耗的能源；EＩＴ为数据中心ＩＴ设备消耗的能源。

其中Eｃ、Eｐ、Eｌ及EＩＴ合计为数据中心消耗的所有能源EＤＣ，故ERE 与ERF及PUE的相互关系可以表示为：

由式（4）可以看出，若数据中心无热回收等再生能源，即ERF为０，则ERE的数值与PUE一致，ERE越高，表明再生能源利用效率越低。

尽管冷却液温度越高越易于热回收，但冷却液温度升高，服务器的功耗会随之增加，从而影响实际运行PUE。Ｚｉｍｍｅｒｍａｎｎ等人通过能效理论分析，得到了如图８所示的ERE与冷却液进口温度曲线。可以看出，冷却液进口温度越高，理论再生能源利用效率反而越低，由于理论分析将数据中心绝热一并考虑在内，当冷却液温度升高时，数据中心与周围环境的温差增大，散热量大，热回收效率反而降低，因而ERE增大。故数据中心余热回收同样需要统筹兼顾液冷温度、PUE及ERE。

图８ 再生能源利用效率与冷却液进口温度曲线

结论与展望

１）液冷冷却温度高，理论冷却液进口温度可 高达60℃，无论应用于云计算、超算还是模拟器， 实际项目中设计冷却液进口温度通常不超过45℃，可充分利用自然冷却，实际运行供液温度可作 进一步调整。

２）液冷可以明显降低数据中心的PUE，无论项目的规模大小、所处的纬度及气候区，几乎都可以将PUE控制在1.2以内，浸没式液冷具有更低的PUE，大部分浸没式液冷项目的PUE不超过1.1。

３）余热回收将是数据中心液冷的又一应用趋势，相较于风冷散热，液冷系统可以在更高的温度区间进行余热回收，具有更优的热回收性能，且热回收供暖的经济价值远高于其热力学价值。

尽管电子设备的液冷技术研究已经开展了几十年，但是数据中心液冷技术的应用时间并不长，尚未展开大规模的应用。冷板式液冷利用其在超算及模拟器上长期积累的项目经验，正逐步向云计算数据中心推进；而浸没式液冷近几年才开展数据中心的应用，尤其是喷淋式液冷目前仅有零星展示实验项目。数据中心液冷技术的应用发展需要持续不断地探索实践，仍然存在诸多问题和挑战需要应对，以下将是未来数据中心液冷应用研究的发展方向：

１）冷板式液冷仍需要部分风冷辅助散热，扩大冷板散热的冷却范围，降低风冷散热的比例；结合高效风冷散热系统，进一步降低冷板式液冷数据中心的散热PPUE需要持续研究与实践。浸没式液冷需要进一步提高系统稳定性、维护便利性，优化承重荷载，降低初投资。而喷淋式液冷则需要提高单机柜散热能力，解决冷却液散逸问题，进一步优化系统，提高系统成熟度，同浸没式液冷一致，冷却液与服务器部件的兼容性需要持续验证。

２）提高液冷散热温度有利于增加全年自然冷却时间，降低室外散热设备的风机运行功耗；加大换热温差，可降低冷却液流量，从而进一步实现系统循环泵的节能。但过高的冷却液进口温度会增加服务器的运行功耗。合理设计服务器冷却液进口温度、科学分配散热温差、实现服务器及其散热系统的节能最大化将是后续液冷应用研究的重要方向。

３）液冷系统通常按照满负载工况设计，合理配置系统设备、加强运维过程调适、提高部分负载下液冷系统的节能性有待进一步研究。

４）冷却液温度越高越易于热回收，但冷却液温度升高，服务器的无用功耗也会随之增加，继而影响实际运行犘犝犈，而且理论再生能源利用效率也会将低。故进一步深入研究冷却温度、节能效率及热回收性能三者之间的最佳耦合关系具有较好的指导意义。

随着应用研究的持续深入和工程实践经验的不断积累，数据中心液冷技术在高性能、高密度、节能减排、余热回收上的优势会愈发凸显，必将为数据中心行业碳中和贡献更大力量，取得新的更大发展。

来源：暖通空调 中国知网  作者：肖新文

资料免费送（点击链接下载）

史上最全，数据中心机房标准及规范汇总（下载）

数据中心运维管理 | 资料汇总（2017.7.2版本）                                         

加入运维管理VIP群（点击链接查看）

《数据中心运维管理》VIP技术交流群会员招募说明

加入学习群扫描以下二维码或者添加微信：

wang2017bj