间接蒸发冷却是重塑数据中心制冷的C位吗？
前言
近年来，部分云计算/互联网公司作为头部用户大量投入间接蒸发冷却方案（英文简称：IEC），间接蒸发冷却一时间成为节能制冷方案里的香饽饽。一线城市和政府相关部门也相继出台了关于数据中心能效PUE指导意见以及门槛，进一步引起产业同行的关注。究竟间接蒸发冷却是不是未来技术方向和趋势，性能如何，用户应该如何选择，笔者通过本文分享一些个人看法。
结论摘要
方便技术懒人或者不太懂技术的朋友，直接给结论：
- 间接蒸发对用户技术规格明确性要求高，性能差别很大。对于多租户，灵活功率密度，短租期场景适用性低。
- 间接蒸发适合在全年气温偏低，干燥的地区（干球温度和湿球温度差别大），但对气候环境条件应用范围相对狭窄。
- 间接蒸发目前国内厂商缺乏标准，设备厂商产品标准化程度较低，生产制造质量参差不齐，不少方案都要定制，换热芯体，水处理，整体控制逻辑的产品技术成熟度从时间上需要更多验证。
- 间接蒸发尺寸大和高，而且重量很大，对现有建筑适配性挑战很大，适合于绿地开发，多层建筑设计适配性要求高，难度较大。
- 间接蒸发方案的IDC项目整体财务回报能力相比水系统偏弱，商务竞争力未必高。
上面提到的都是间接蒸发弱点为主，那间接蒸发冷却肯定有亮点，不然也不会有人用，而且欧美前一些年也好些案例。笔者在此罗列一些好处
- 最重要的好处，间接蒸发冷却是一个预制化，集成自然冷却和控制的完整功能的制冷产品。间接蒸发经常被拿来和“传统”冷冻水系统做比较，无可否认目前国内的冷冻水系统工程属性更高。
- 如上面第二点提到，间接蒸发冷却在干燥和寒冷地区，比较容易发挥性能。
为什么厂商都大力推间接蒸发？
一句话——对于设备厂商，IEC的利润和收入能做更大。如果冷冻水系统，国内精密空调公司基本很少做冷机，冷冻水末端已然是价格血拼的红海市场。厂商不断拼价格的市场大环境，得通过规模效应获取利润。就冷冻水系统，只做末端能有多大业绩呢？
相比之下，间接蒸发冷却产品，就是一个完整制冷系统产品。间接蒸发冷却目前产品技术原理和10年前DX风冷空调，差的就是室内外风侧之间加入了带喷淋做蒸发散热的空空换热器。从产品制造商的角度看，做末端往后就主要靠规模经济，规模大了，就很容易被国内家用空调厂商盯上进入这个行业，靠比规模来保持市场份额的路非常难。而转做间接蒸发，传统冷机厂商认为这块是个Niche market，冷机厂商投入力度不大，被盯上的概率小。现实情况是，冷机几大厂商，都没多少投入人力物力做间接蒸发，对数据中心这个行业的投入很有限。间接蒸发能够使传统精密空调厂商更好进入利基市场躲开传统制冷大厂的竞争。反过来想，精密空调厂商做冷机，做得过几大冷机厂商么？用户又会用多少？
所以笔者对市场商业逻辑的看法 —— 间接蒸发本身不是什么新技术，数据中心行业设备厂商从自身价值定位出发，需要发展间接蒸发，获取更多收入和利润。头部用户希望鼓励更多人用，产业做大帮助自己降成本。搭台的，唱戏的在一块，何其热闹。仔细盘算，有多少用户使用间接蒸发呢？又有多少厂商大量出货间接蒸发？整体而言还是相对少数，但所有厂商利益层面是一致的，做冷冻水末端前途有限，大家蹭间接蒸发热度对自己没有坏处，那就凑热闹去。从商业角度，所谓趋势都是见仁见智，技术自用的，自身拥有巨大优势，会跑出来说趋势分享给业界吗？技术做商用的，做到业界领先，是不是应该天天出来宣传是趋势呢？瞧瞧亚马逊AWS，他们大力宣传自己的N+R和单电源服务器架构了嘛？你看谷歌会大力宣传自身数据中心技术架构么？
华为作为数据中心基础设施制造的佼佼者，去年发布的数据中心十大趋势就提到风进水退。华为自身云计算业务（主要北方）使用不少间接蒸发产品，同时也大力做市场推广。这里面商业逻辑不难理解，如果间接蒸发类似盒子产品，趁现在国内还乱糟糟一团不成熟的时候（这不才有商业机会么？），不把利润和收入做大，怎么养得起那么多研发和人才呢？！像华为这样的大投入，使用AI优化间接蒸发产品性能和运营，通过技术附加值而非单纯靠产品规模，这样发展才有更大持续的空间和时间。反过来说，不剑走偏锋，做差异化，能走多远呢？
趋势八 —— 风进水退，风液融合，匹配高密，灵活适配
公众号：华为企业业务中国Σco时间丨智能DC 预建未来 华为洞见数据中心发展十大趋势
笔者建议大家读一下华为的《新一代智能间接蒸发冷却解决方案白皮书》，白皮书从内容看花了不少功夫，个人认为不比国外厂商写得差，值得点赞。尽管白皮书里面有些观点笔者持保留意见，但内容是比较全面和详尽。
间接蒸发冷却典型问题
① 间接蒸发冷却性能如何？
间接蒸发冷却，相当于空气的两级冷却，一部分是空气换热器，一部分是DX制冷。而空气换热器，依赖回风温度和室外环境温度温差，芯体换热效率，室内侧和室外侧风量和风阻（风压）会影响风机选型。简而言之，不考虑风机选型的情况下，室内回风温度和室外环境温差越大，换热量更好，意味着相对DX机械制冷需求更少。
而DX制冷，固定风机选型的情况下，室外温度低，则经过换热器后的室内侧空气温度越低，越接近设定的送风温度，则意味着DX制冷需求更小甚至不需要，从而达到更好性能。
只要IEC设备的尺寸结构固定，换热芯体最大尺寸，风机最大风量，DX机械制冷最大容量都确定。要获得更好能效，就要提升室内风侧工况，即更高送风和回风温度，提升自然冷冷量，降低机械制冷容量。
说完技术，实际应用里面，送风温度高，也得客户SLA配合才行，否则要多配DX制冷就是耍技术流氓。送风温度提高到32℃，最起码没看到国内哪个客户肯接受这种SLA。好些客户还是要求SLA 22~24℃，那间接蒸发冷却选型送风温度得低1~2℃，回风温度10~12℃温差的情况下，导致DX配的容量就大，IEC的整体能效就不高。
摘自华为间接蒸发冷却白皮书
实际应用里，若室内回风和室外WB温度接近，蒸发散热就起不到作用，基本靠DX制冷，DX几乎100%容量配置下，系统能耗很高，加上换热器风阻大，风机功耗相比更高也导致IEC能耗高(极端室外WB下甚至可能比不上风冷空调)。
② 间接蒸发冷却环境适用性如何？
抛开室内风侧工况选型来说，既然靠蒸发散热，那肯定蒸发后温度低，也就是干球和湿球温度差大，干燥地方合适，而同等室内回风条件，室外温度更低换热能力更高。换言之，实际上除了华北和西北低海拔区域相对合适，越往南效果越差，除非把室内风侧工况能够往很高温提。而为什么华东和华中也不太合适呢？华东和华中这些地方，夏天热起来和华南有得一比，杭州，南京，上海，武汉，成都，重庆的极限WB和华南广州，深圳相比差不多。
去年听说华南一些地方的IDC项目报审能评，技术方案为满足政府对PUE的要求，好些公司使用间接蒸发。从这个事来说，其实间接蒸发未必合适。
③ 间接蒸发冷却技术灵活性如何？
从笔者的感受来说，间接蒸发冷却都是奔着“偷”冷量的路线走。前面提到，设备尺寸固定，选址的气候参数确定，能倒腾的参数就是室内一次侧的送回风温度，尽量减少DX的容量，实现减配DX容量达到节能效果。如果调整风机转速，那设备内部整体风阻也大，风机转速高叠加风阻增加，整体风机功耗也高。减配DX就是双刃剑，一旦减配DX，就无法技术回退和极难改造。市面上大多数的间接蒸发冷却都是靠各种减配DX，否则性能会很难看。高送风温度减配DX容量也不是风冷系统特有，提高冷冻水水温一样实现Trim chiller 甚至chiller-less的水系统设计。
另外，间接蒸发冷却的设备尺寸和建筑匹配的难度比较大，特别多层设计。现实的情况是，各家产品尺寸不一，要建筑做到兼容各家产品，难度很大。而且一旦建筑布局设计明确，IEC数量也固化，究竟产生多少制冷量，就完全看室内一次侧客户工况了。这意味着，工况高和低，间接蒸发制冷容量可以相差20%以上。每个Data hall的IEC就是一个独立系统，看上去很美，实际上不灵活，配置多少容量没最终客户的情况下，很难确定。例如按6kW机架密度做配置，结果租给4kW的客户，那IEC整体成本就贵33%，相反租给8kW客户，IEC容量由于建筑限制又难以扩容。另外值得一提，要实现不间断制冷，现在厂商方案主要是风机由UPS带，但这只能做到自然冷却部分的不间断，DX部分是不能的。要做到完全自然冷，就是整个设备都用UPS带，经济性也有挑战。
间接蒸发和液冷系统结合度不高。对于液冷服务器，要单独投入水系统。而板级液冷服务器，如果CDU的水温要求不能完全利用冷却塔，需要冷机补冷，这种情况对使用间接蒸发是噩梦。
反观冷冻水系统，冷冻站给多个Data hall供冷可以通过末端调整制冷容量，哪怕末端容量配置小了，更换末端的成本比IEC更换成本小得多。冷冻站容量和尺寸的差异并没有间接蒸发大，板换设计也能从系统上匹配未来液冷，调整冷冻水末端性能的能够适配更多室内风侧工况等，这些技术灵活性比间接蒸发冷却更高。
④ 间接蒸发冷却产品成熟度如何？
坦率说，国内用户使用情况，笔者只是参观过一些用IEC的机房，细节听行业朋友口述，没有太多亲身经验。就之前笔者在海外项目使用IEC的经验，一般问题有换热器芯体，还有水处理，极寒温度下芯体内结冷凝水甚至结冰，室内送风均匀度，室外空气差需要频繁更换滤网（也影响DX效率）等问题。实地考察过几个国内厂商产品，整体感觉工艺比较粗糙，难免有些山寨产品廉价感，实际质量和性能如何不太清楚。
一些性能和质量问题，用户需要多考虑。例如，不做水处理软化，会不会芯体几年后出现性能问题，然后空调制冷量不足而机房过热宕机呢？IEC的群控方式如何呢？这么大的设备，性能测试是否达标呢？设身处地思考实践者角度，如果今天你是IDC投资者 / 你是运营这个IDC的 / 你是靠这个IDC销售挣钱的，你会如何考虑？有时候问问这种考验灵魂的问题，不能说就能做到完美，但至少能权衡更多风险和收益。
⑤ 间接蒸发冷却对IDC业务影响如何？
说起IEC对IDC业务影响，笔者还是有较深刻的体会——因为IEC，导致丢过几个单（超过1亿美金）！！抛开技术层面，这种被市场暴捶后留下伤疤至少说明对产品的理解有更多一线角度。无可否认，丢单有很多因素，要完全赖IEC不符合客观现实，在此说说当时IEC导致丢单的原因。
真实案例一，IEC设计送风SAT 26℃，客户环境SLA要求24℃，罚则严苛。运营部门要求设备送风SAT 22℃选型，还要和冷通道探头等联动控制确保SLA。结果就是设备制冷容量降低15%以上。恶心的是，建筑固化后设备尺寸无法做更大，想多花点钱改更大IEC也没办法，导致商务报价就贵了好些。当时商务谈判，老外同事还在客户面前装傻，要是对方接受30℃送风温度，我们可以承诺更低PUE，价格也有优惠……当时我和客户听了都尬得一塌糊涂。老外你咋不说，要是客户接受新风的话，直接把IEC的改装成新风AHU得了……
真实案例二，Data hall的IEC现有客户接受28℃，现有客户占了大概有1/3房间容量，剩下2/3房间要放新客户的容量。新客户要求24℃，IEC做分区不同温度的SLA控制实现很麻烦，为了做温度隔间，房间会损失了好些机架空间，要知道IEC对应房间少了机架空间就用不完IEC容量导致投资浪费影响商务报价。重新换另外一个房间，那现有2/3房间的库存容量后续如何消化，投资者又叫苦连天不同意。
真实案例三，同样的楼，间接蒸发占地问题导致容量做更少，最后同样客户需求，用冷冻水系统性能更好，商务报价更低。如果对于一个做业务的人来说，自然更愿意卖成本更低的设计，利润也有机会做更高。
一顿细数IEC坑爹案例后，IEC当年也是立下过好些功劳。当时前东家新加坡数据中心，和DRT的SIN12都属于第一批设计IEC(其实就是DRT同一个设计人员跳槽)。当时新加坡政府不太懂IEC，就看到各种宣传软材料说节能，低PUE。这配方是不是跟国内搞能评的技术忽悠套路很熟悉，可以说IEC是说服政府拿地的关键武器之一。所以，如果在业务Yes or No面前，只要明确性是Yes的，没什么好说的，就是照Yes方向做就行。客户给钱，任性又如何；圈了资源，再灵活处理；拿不到客户，拿不下项目，结果看就是大写的零。不是Yes or No，那就看Good or Bad面前，实则看财务回报测算。事实是，当时前东家除了新加坡一期，二期用回冷冻水，商人嘛，嘴上说一套，身体却很诚实……
记得以前有朋友问，如果某客户一定要上间接蒸发冷却，不用的话就很难，你会怎么办？当时笔者反问到，如果大家都按客户用间接蒸发冷却，你又有什么竞争力，有多大把握拿下项目？如果有其他更好的方案，你又有多大把握说服客户使用？
这都是笔者亲身经历的，也是看到欧美间接蒸发冷却一路发展过来，连当时IEC鼻祖Munters都放弃IEC，谷歌，亚马逊，微软，Facebook也不用，现在大部分欧美IDC公司也不考虑(大家可以参考欧美近几年大型IDC设计)。值得肯定的是，国内供应链能力确实把IEC的成本下降到一个很有竞争力的水平。但正如前面所说，具体选择哪种方案，先考虑这是Yes or No还是Good or bad？如果是后者，除了间接蒸发，是否有更好的方案？大家都说“传统”冷冻水系统各种问题，那反过来问，为什么冷冻水系统就不能不传统，难道就不能做得更优和更产品化嘛？
评论