数据中心效率提升的最佳颗粒度思考
韩会先1 柯芊2
(1.维谛技术有限公司，北京100012;
2.中国信息通信研究院云计算与大数据研究所，北京100191)
摘要：数据中心是数字时代的信息底座，近年来呈现高速发展的态势，其能耗问题日益严重㊂为提升数据中心整体使用效率，立足最佳颗粒度设计原则，以分散性制冷系统的最佳颗粒度设计方案为实例，深入分析散热和制冷的精确匹配，由此拓展数据中心设施层面的精细化调整，并提出数据中心算效㊁水效和碳效方面的架构设计㊁工况选择和能源选择等最佳颗粒度思考㊂
关键词：数据中心；效率；最佳颗粒度
中图分类号:TP308㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀文献标志码:A
引用格式：韩会先，柯芊.数据中心效率提升的最佳颗粒度思考[J].信息通信技术与政策,2022,48 (3):47-54.
DOI:10.12267/j.issn.2096-5931.2022.03.008
0㊀引言
数据中心是新一代信息通信技术的算力载体，已经成为数字经济时代不可或缺的底座，随着各行业信息化㊁数字化转型进程加快，数据中心产业高速发展[1-4]，根据中国信息通信研究院数据,2016 2019年，我国数据中心机架数增加近200万个，增长率高达154%[5]㊂需要注意的是，数据中心自身能耗也在持续
走高,2020年我国数据中心耗电量达900多亿千瓦时，约占全国总耗电量的1.25%，随着国家双碳战略的提出，能耗的持续增长一定程度上制约了数据中心行业的发展，提升数据中心整体能源使用效率成为数据中心行业当前亟待解决的问题㊂
本文以提升数据中心制冷能效作为主要论述内容，提出数据中心微模块制冷能力与IT机柜的最佳颗粒度设计，达到制冷与散热精确匹配㊁能效最优的效果，并由此扩展管路系统㊁服务器以及供电系统的最佳颗粒度设计方案㊂并且，为提升数据中心整体使用效率，本文从算效㊁水效和碳效等三个方面，分别提出了关于效率提升的最佳颗粒度思考㊂
1㊀制冷能效是节能优先的主要动力
电能利用效率PUE，表征数据中心电能利用效率的参数，其数值为数据中心内所有用电设备消耗的总
电能与所有电子信息设备消耗的总电能之比，是数据中心研究㊁设计㊁建设和运维的主要能耗评价指标，基于国标GB40879-2021㊁GB55015㊁GB55016-2021以及行标YDT2543标准的实施，当前数据中心能效PUE 分解见公式(1)㊂
PUE=[IT系统能耗+制冷系统能耗+供配电系统能耗+其他能耗(照明等)]/IT系统能耗
=1+制冷能耗因子(CLF)+供电能耗因子(PLF)+其他能耗因子(OLF)(1)以北京地区某设计PUE为1.3的数据中心为例，机房面积8000m2，假定IT负载为10000kW㊂制冷能耗因子方面,IT设备制冷系统回风温度按
照35ʎ处理，采用磁悬浮或气悬浮冷水系统,IT设备制冷系统全部采用通道隔离方案(即冷通道和热通道都封闭)；配电间和面积负荷(含独立电池间)的制冷系统各自独立，空调回风温度按照28ʎ处理，采用变频制冷和热泵系统，配电间设备也采取通道隔离方案㊂根据制冷用途，制冷能耗因子(CLF)可分成主用IT设备用制冷能耗因子(CLF1)，供配电系统用制冷能耗因子(CLF2)，面积负荷用制冷能耗因子(CLF3)，新风㊁除加湿用等配套制冷能耗因子(CLF4)，按照GB/T 19413-2010‘计算机和数据处理机房用单元式空气调节机“和GB40879-2021‘数据中心能效限定值及能效等级“划分的5个温度区间，主用IT设备㊁供配电系统㊁面积负荷的制冷能耗计算分别如表1㊁表2㊁表3所示㊂
表1㊀主用IT设备用制冷能耗计算(IT负载10000kW,IT负载全年耗电量87600000kWh,
空调冷量输出率100%)
温度区间/ħ气悬浮(或磁悬浮)
单台系统理论能效
北京温度系数
分布/%
运行小时/h
主机房精密空调耗
电功率/kW
主机房精密空调
耗电量/kWh
ȡ30 4.827.20630.722074.691308547.72 20~30 5.5628.102461.561798.564427266.19 10~20 5.77
23.102023.561733.103507036.40 0~1011.2821.001839.60886.521630851.06 <017.2820.601804.56578.701044305.56
表2㊀供配电系统用制冷能耗计算(配电负载681.63kW，空调冷量输出率100%)
温度区间/ħ理论能效北京温度系数
分布/%
运行小时/h
配电机房空调耗
电功率/kW
配电机房空调
耗电量/kWh
ȡ30 4.397.20630.72155.2797931.16 20~30 5.5028.102461.56123.93305067.93 10~20 6.3723.102023.56107.01216533.69 0~10 6.4321.001839.60106.01195011.96 <0 6.4320.601804.56
106.01191297.44
表3㊀面积负荷用制冷能耗计算(围护结构机房面积8000.00m2，单位面积制冷量0.08kW/m2,
围护结构环境冷负荷640kW，空调负载率100%)
温度区间/ħ理论能效北京温度系数
分布/%
运行小时/h
配电机房围护结构
空调耗电功率/kW
配电机房围护结构
空调耗电量/kWh
ȡ30 4.397.20630.72145.7991950.07 20~30 5.5028.102461.56116.36286436.07 10~20 6.3723.102
023.56100.47203309.01 0~10 6.4321.001839.6099.53183101.71 <0 6.4320.601804.5699.53179614.06
㊀㊀主用IT设备用制冷能耗因子CLF1=5个温度区间耗电量和/IT负载全年耗电量=11918007/87600000= 0.136，即用于IT设备的磁悬浮空调系统年平均理论能效为7.35㊂
配电间(不考虑变压器)用制冷能耗因子CLF2=5个温度区间耗电量和/IT负载全年耗电量=1005975/ 87600000=0.0115(四舍五入)，即用于供配电系统的空调系统年平均理论能效为5.93㊂
面积负荷(含独立的电池间)用制冷能耗CLF3=5个温度区间耗电量和/IT负载全年耗电量=944 410.92/87600000=0.0108(四舍五入)，即用于面积负荷的空调系统年平均理论能效为5.94㊂(备注：假设面积冷负荷与面积热负荷一样，在此仅是说明计算方法,5个温度点对应的能效以实测报告为准㊂)按照数据中心制冷能耗规律推测，粗略统计除加湿㊁VRV㊁新风㊁消防排烟等部分用的制冷能耗占IT负载的2%，因此，制冷理论能耗因子CLF=CLF1(IT部分)+CLF2(配电部分)+CLF3(面积负荷部分)+CLF4 (除加湿㊁VRV㊁新风㊁消防排烟等部分)=0.136+0.011 5+0.0108+0.02(预估)=0.1783㊂
供电能耗因子方面，以当前数据中心供配电系统主流效率计算,UPS供配电系统损耗占IT负载的6.89%计算，变压器整体损耗占IT负载的1.5%计算，柴发系统损耗占IT负载的0.4%计算，线路及开关等损耗占IT负载的1%计算㊂因此，供电能耗因子PLF= PLF1(UPS不间断电源)+PLF2(变压器)+PLF3(柴发)+P
LF4(线路及开关等)=0.0689+0.015+0.004+ 0.01=0.0979㊂
其他能耗因子方面，根据数据中心PUE为1.3，照明系统㊁安防监控系统㊁排污及水处理等以及供水泵能耗，总计按照占IT负载的2.38%计算㊂因此，其他能耗因子OLF=OLF1(照明)+OLF2(安防监控系统)+ OLF3(排污及水处理等)+OLF4(供水泵)=0.0238㊂从上述计算过程可以得到，制冷能耗因子占数据中心整体能耗的14%，占除IT设备以外的基础设施能耗59%㊂在当前数据中心制冷系统的配置计算条件下，通过规律总结得出
(1+CLF1+CLF2a)ˑ(1-η)=PLF1(2)其中,CLF1 主用IT设备用制冷能耗因子, CLF2a 给UPS制冷的能耗因子,η UPS的效率,PLF1 UPS不间断电源供电能耗因子㊂
当且仅当IT机房用空调系统EER1=配电间UPS 用制冷系统EER2时，即UPS与IT部分都采用同样的封闭通道和同样的送风温度时,
CLF2aʈPLF1ˑCLF1(3) lim理论PUEʈ(1+CLF)(1+PLF)(4)故假定配电系统损耗不变的情况下，制冷系统的能耗严重影响PUE走势，这就要求我们必须考虑制冷系统处于最佳能效区，当制冷系统处于最佳能效区时，整体能效能够得到最大程度地优化㊂而当前制冷系统的最佳能效取决于冷媒泵(压缩机㊁氟泵㊁水泵等)本身的最佳能效匹配，这就涉及到压缩机容量颗粒度的问题，究竟选多大单个压缩机容量来满足制冷系统的最佳能效㊂
2㊀分散性制冷系统的最佳颗粒度设计
2.1㊀微模块列间末端制冷能力的最佳匹配
在满足国家能耗双控目标下，以节能优先为原则，着重提升数据中心制冷能效㊂考虑到业务实际发展需要，及满足不同负载率阶段PUE的需求(不能只考虑IT满载的情况,IT满载需要周期较长，完全不能满足国家能耗双控目标)，分散性的制冷系统颗粒度设计将成为提升能效的主要趋势㊂分散式制冷系统需满足客户单个微模块㊁单个房间㊁单层楼㊁单幢楼等情况下的PUE达标，故在此以单个微模块作为基础颗粒度，也是本文主要研究对象，以下所介绍的单个微模块的设计可以适用于不同的制冷系统，而不是局限于某一特定制冷系统㊂
以当前满足综合性价比相对最佳的一种方式 微模块使用列间末端送风方式为例，在列间末端送风尺寸与机柜相同的限定条件下，列间空调的最大制冷能力为60kW左右，在能效满足更低PUE需求且综合造价较低的选择下，最小制冷能力为50kW左右，即列间空调制冷能力配置为50~60kW㊂考虑到列间末端备份情况，通常采用ʌ(3+1)ˑNɔ的方式，即列间末端实际运行制冷能力输出为75%(全部热备份运行方式)㊂考虑到人员维护及逃生需求，单列长度不超过15m的要求(包含通道两端隔离门的框架厚度)，单列机柜数最大为24个(24ˑ0.6=14.4m)，单个微通道最大柜位数为48个㊂
表4㊀微模块列间末端制冷能力和机柜功率颗粒度设计
列间空调个数备份情况IT机柜数单机柜功率/kW所需电力/kW对应最佳压缩机功率配置/kW 4(3+1)44 3.4~4.1187.5~225200~240
8(3+1)ˑ2407.5~9375~450400~480
12(3+1)ˑ33612.5~15562.5~675600~720
16(3+1)ˑ43218.75~22.5750~900800~960
20(3+1)ˑ52826.78~32.1937.5~11251000~1200
24(3+1)ˑ62437.5~451125~13501200~1440
㊀㊀注：列间空调制冷能力配置为50kW至60kW㊂
㊀㊀制冷系统为4(3+1)个列间空调时，即主用制冷能力为150~180kW(=3ˑ(50~60kW))，在单个微通道最大柜位数的基础上，除去列间空调所占的机柜数4, IT机柜数为44个，对应单机柜功率为(150-180)/ (48-4)=(3.4-4.1)kW，以制冷系统能效为4.0计算，合计所需电力是IT机柜用电和列间空调用电总和187.5~225kW((150~180)+(150~180)/4=187.5~ 225kW)㊂
以此类推，制冷系统为4㊁8㊁12㊁16㊁24个列间空调时，可以分别计算出相对应的单机柜功率和所需电力功率㊂
综上所述，通过制冷颗粒度ʌ(3+1)ˑNɔ优先的前提下，可以看出不同IT负载的最佳机柜数组合，即所谓的最佳微模块颗粒度，达到IT负载散热与制冷的高效匹配㊂随着AI控制技术的进步，未来最佳颗粒度会正式步入ʌ(4+1)ˑNɔ模式，即行业 二八 原则，以获取最佳的性能及最佳运营成本㊂如当制冷系统为10 (=(4+1)ˑ2)个列间时，即主用制冷能力为400-480kW，对应单机柜功率为(400-480)/(48-10)= (10.5-12.6)kW，合计38个IT机柜，合计所需电力500~600kW，备份制冷能力为100~120kW，对应压缩机颗粒度(100~120kW)ˑ4为佳㊂以当前消防分区800m2为界，一个消防分区可以放置8套颗粒度模块左右㊂
2.2㊀管路系统最佳设计
相关衍生出的管路系统同样是ʌ(3+1)ˑNɔ模式为最佳颗粒度，当前环网㊁双管路的设计必须满足最低流速和最高流速(不同流体不一样)的需求，即
G=SˑV(5)其中,G 流量,S 管道截面积,V 流速㊂
以水系统为例，流速低于0.5m/s是不建议的，尤其是0.25m/s以下；最高流速建议在1~2m/s之间，不建议超过2m/s(除非特殊场合与非节能需求)，当1幢数据中心采用冷水主机3+1配置，管路2N设计，当
用户负载满载时，管道流速为1m/s(2N管路必须同时运行，防止水路故障；如果管路里是制冷剂，还涉及
制冷阀门造价㊁快速隔离以及泄漏量大导致人员窒息
与故障恢复需要更长时间的问题)，如果用户负载仅有50%时，管道流速为0.5m/s(已达危险地步)，如果用户负载进一步下降(所需冷量不足单台冷机)，可想而
知，按照正常思路，系统无法正常运转㊂此种情况下只
能采取非常规手段，增加各管段流速，导致能耗浪费严
重㊂同时还涉及主机流量分配不均问题(如果是气态
冷媒，更严重)，导致主机宕机等严重后果㊂
为避免上述能耗浪费㊁流量分配不均以及主机宕
机等严重后果，建议根据实际业务发展需求，采取分散
式制冷系统，采用合适的颗粒度系统(如单套6000 kW系统，分成2个3000kW；或4个1500kW; 或60个
100kW系统)，以满足模块㊁房间㊁层㊁楼㊁园区不同负载下的PUE国家政策和地方政策，实现智能化㊁精细化㊁可扩展管理，如表5所示为某场地设计单系统能效表展示如表5和某园区PUE统计展示表6所示，根据场地的实际负载情况调节分散性制冷系统中各设备的功耗，实现总体能效处于较优的水平㊂
2.3㊀服务器最佳颗粒度设计
根据最佳颗粒度设计方案，液冷型服务器(冷板㊁
喷液㊁浸没式)也同样适用㊂依旧采用ʌ(3+1)ˑNɔ模
式，将制冷颗粒度折算成冷媒泵(油泵㊁制冷剂泵㊁水泵
等)的最佳颗粒度㊂根据公式(6)，可确定液体泵的最
佳颗粒度㊂
表5㊀某场地设计单系统能效表展示
末端空调功率/kW 冷冻水泵
功率/kW
冷机输入
功率/kW
冷却水泵
功率/kW
冷却塔
功率/kW
总功率
/kW
冷机冷
量/kW
冷机
COP
单系统额
定能效
场地1300220106022024020407032 6.63 3.45场地2320210985210280200573007.41 3.64场地33502501000184300208480878.09 3.88场地414590634.4090441003.403341 5.27 3.33场地51459058690449553340 5.70 3.50场地61285244755307122285 5.11 3.21场地72007549890228853261 6.55 3.68均值22714174413413713834949 6.65 3.58
表6㊀某园区PUE统计展示
模块高压用电量/kWh UPS用电量/kWh PUE
DC1-M1M2161560100739 1.604
DC1-M3M4173300110877 1.563
空调耗电量计算
DC1机房楼334860211616 1.582
DC2-M1M2233810154336 1.515
DC2-M3M4205440138092 1.488
DC2机房楼439250292428 1.502
整个基地 1.536
㊀㊀Q=C PˑGˑ(t2-t1)(6)其中,Q为冷量,C p为冷却介质的比热容,G为流量,t2-t1表示温差㊂
从理论计算模型北京地区看，供配电架构一致，负载率一致，算效一致,CPU温度一致，采用全封闭方式(即仅考虑满足服务器本身自循环)，高温风冷服务器和浸没式液冷服务器所使用的制冷系统CLF1因子相差不到0.01，即整体PUE相差不到0.01(根据地域不同相差在0.0005~0.03之间)，环境温度25ʎ以上浸没式液冷服务器制冷因子有优势，环境温度25ʎ以下高温风冷服务器制冷因子有优势㊂
2.4㊀供电系统最佳颗粒度设计扩展
同样采用最佳颗粒度设计方案，进一步向上拓展不间断电源最佳颗粒度，变压器最佳容量颗粒度和数
量，以及确定制冷架构及供配电架构的优化方向㊂确保模块与市电供电2N的架构前提下，整体供电系统也可采用颗粒度ʌ(3+1)ˑNɔ模式，即3ˑN为主要供电,1ˑN为备用供电，减少不间断电源㊁变压器供电链路投资，同时在市电容量一定的情况下，可以提高供给IT类负载的供电，即3/4用于IT负载供电,1/4用于制冷及其他供电㊂减少向电网索取供电保障衍生出的空余电量回收再利用等一系列问题㊂
通过上述讨论，获得超高能效不仅依赖于技术创新的不断融合发展，不断AI寻优，平衡云化负载，同时也可以通过不同能耗系统的最佳颗粒度设计，降低CLF至0.1以下，降低PLF至0.05以下，以获得PUE 低至1.15以下；降低CLF至0.06以下，降低PLF至0.04以下，获得PUE低至1.1以下㊂
3㊀数据中心整体效率优化的最佳颗粒度设计
3.1㊀DSA架构提升数据中心算效
数据中心算效是算力与功耗的比值[6]，根据公式
发布评论