本集简介
双语字幕
仅展示文本字幕,不包含中文音频;想边听边看,请使用 Bayt 播客 App。
大家好我是肖文杰我是小亚最近我们有很多期节目其实都有一条引线就是来聊AI背后不为人熟知的基础设施那今天聊的内容呢也是这条线索的一个延伸我们来聊聊大模型背后的数据中心。
大家好我是肖文杰我是小亚最近我们有很多期节目其实都有一条引线就是来聊AI背后不为人熟知的基础设施那今天聊的内容呢也是这条线索的一个延伸我们来聊聊大模型背后的数据中心。
在上一个互联网时代呢数据中心更多是后台的设施它就是用来存储一些数据然后支持用户访问网站就是很多服务器但是到了AI时代数据中心就开始承担一些大模型的训练和推理的任务无论是ChatGPT还是自动驾驶的大模型或者是企业级的AI应用其实都需要数据中心里面的很多很多GPU来帮它做运算是的。
在上一个互联网时代呢数据中心更多是后台的设施它就是用来存储一些数据然后支持用户访问网站就是很多服务器但是到了AI时代数据中心就开始承担一些大模型的训练和推理的任务无论是ChatGPT还是自动驾驶的大模型或者是企业级的AI应用其实都需要数据中心里面的很多很多GPU来帮它做运算是的。
现在整个行业都在说算力需求大爆发、算力短缺等等的,甚至有的说法说AI的竞争本质上就是算力的竞争,确实不为过啊。
现在整个行业都在说算力需求大爆发、算力短缺等等的,甚至有的说法说AI的竞争本质上就是算力的竞争,确实不为过啊。
这样的说法,而算力的载体呢,其实就是数据中心。
这样的说法,而算力的载体呢,其实就是数据中心。
我们看到盖特纳的一个预测是2026年全球数据中心的支出将突破7880亿美元,同比是增长55.8%。
我们看到盖特纳的一个预测是2026年全球数据中心的支出将突破7880亿美元,同比是增长55.8%。
然后前不久呢,你像GOOGLE也表示它2026年的资本支出预计将达到1900亿美元,就一家啊。
然后前不久呢,你像GOOGLE也表示它2026年的资本支出预计将达到1900亿美元,就一家啊。
在当中的大部分,其实就是用来建设数据中心,还有做AI的模型训练。
在当中的大部分,其实就是用来建设数据中心,还有做AI的模型训练。
嗯,其实中国的趋势也是类似的。
嗯,其实中国的趋势也是类似的。
我们看到中商产业研究院的数据是说2025年中国数据中心的市场规模已经是3180亿元了,2026年将进一步增长至3621亿元。
我们看到中商产业研究院的数据是说2025年中国数据中心的市场规模已经是3180亿元了,2026年将进一步增长至3621亿元。
嗯,不过今天是商业小样啊,我们就不展开宏观的竞争格局了,而是讲一个微观角度来理解数据中心的热潮。
嗯,不过今天是商业小样啊,我们就不展开宏观的竞争格局了,而是讲一个微观角度来理解数据中心的热潮。
这个热潮而且是字面意思。
这个热潮而且是字面意思。
没错,就今天的大型数据中心,它其实更像是一座持续运转的算力工厂。
没错,就今天的大型数据中心,它其实更像是一座持续运转的算力工厂。
也就是说里面不仅仅是有服务器一个个堆在一起,它还有像供电啊、冷却啊、调度等等的复杂的系统。
也就是说里面不仅仅是有服务器一个个堆在一起,它还有像供电啊、冷却啊、调度等等的复杂的系统。
我们个人每一次,比如说像AI来提问,然后生成一个海报、搜索一些资料等等的,其实背后就是算力工厂一直在运转。
我们个人每一次,比如说像AI来提问,然后生成一个海报、搜索一些资料等等的,其实背后就是算力工厂一直在运转。
但是呢随着这个AI的算力需求持续的增长其实还带来一个越来越重要的问题就是发热。
但是呢随着这个AI的算力需求持续的增长其实还带来一个越来越重要的问题就是发热。
其实很好理解我们平时打游戏有可能就是你红温的时候电脑也在红温手机用久了也会发热对吧这数据中心肯定也是一。
其实很好理解我们平时打游戏有可能就是你红温的时候电脑也在红温手机用久了也会发热对吧这数据中心肯定也是一。
样的是的只不过手机可能只是一块芯片发热对吧然后你吹吹冷风就行了数据中心的机柜里面是成百上千块的GPU同时来工作。
样的是的只不过手机可能只是一块芯片发热对吧然后你吹吹冷风就行了数据中心的机柜里面是成百上千块的GPU同时来工作。
它高速运转的时候,会产生巨大的热量。
它高速运转的时候,会产生巨大的热量。
我们看到英伟达公布了下一代它这个AI系统的路线图,未来啊它一个机柜就是机器的柜子,功率密度可能达到惊人的600千瓦。
我们看到英伟达公布了下一代它这个AI系统的路线图,未来啊它一个机柜就是机器的柜子,功率密度可能达到惊人的600千瓦。
换算一下呢,相当于它一个机柜运转的时候就相当于家里边300台电磁炉同时开到最大火力。
换算一下呢,相当于它一个机柜运转的时候就相当于家里边300台电磁炉同时开到最大火力。
一个数据中心又不可能只有一个机柜。
一个数据中心又不可能只有一个机柜。
好多个机柜密密麻麻排在一起。
好多个机柜密密麻麻排在一起。
就感觉这个是一个什么预制菜工厂。
就感觉这个是一个什么预制菜工厂。
我觉得比预制菜里面这个什么火星喷射炉要厉害多了啊。
我觉得比预制菜里面这个什么火星喷射炉要厉害多了啊。
但同时呢,数据中心又有一个很明确要求,就是要求它7×24小时稳定的运行。
但同时呢,数据中心又有一个很明确要求,就是要求它7×24小时稳定的运行。
嗯,那你这个运行的过程中如果不能及时的降温。
嗯,那你这个运行的过程中如果不能及时的降温。
设备轻则出现性能下降,甚至停机;重则整个数据中心烧起来,对吧?
设备轻则出现性能下降,甚至停机;重则整个数据中心烧起来,对吧?
所以说呢,今天数据中心开始更加关注这些热量是否能被安全、稳定、高效地带走。
所以说呢,今天数据中心开始更加关注这些热量是否能被安全、稳定、高效地带走。
那这个其实就是说到我们今天的关键词,就是冷却。
那这个其实就是说到我们今天的关键词,就是冷却。
过去很多服务器或者是小型的数据中心,包括我们手机,对吧?
过去很多服务器或者是小型的数据中心,包括我们手机,对吧?
它主要采用的都是风冷的方式,也就是说通过空气的流动把这个热量带走。
它主要采用的都是风冷的方式,也就是说通过空气的流动把这个热量带走。
但随着我们讲的AI时代服务器当中的GPU,它的这个热设计功耗持续的攀升,传统的风冷散热已经接近极限了。
但随着我们讲的AI时代服务器当中的GPU,它的这个热设计功耗持续的攀升,传统的风冷散热已经接近极限了。
所以数据中心未来的制冷的这个趋势呢,一般都是液冷这样一个模式。
所以数据中心未来的制冷的这个趋势呢,一般都是液冷这样一个模式。
物理学上我们就学过,液体的比热容是远大于空气的,它导热能力比空气好很多,那换热系数也是高于空气。
物理学上我们就学过,液体的比热容是远大于空气的,它导热能力比空气好很多,那换热系数也是高于空气。
所以说一般来说液冷的效率是更加高的。
所以说一般来说液冷的效率是更加高的。
这个就形成了数据中心庞大的一个水处理的一个需求。
这个就形成了数据中心庞大的一个水处理的一个需求。
根据WATER RESEARCH这个研究机构的这个研究啊,全球AI相关的用水量将在2027年达到42亿至66亿立方米。
根据WATER RESEARCH这个研究机构的这个研究啊,全球AI相关的用水量将在2027年达到42亿至66亿立方米。
什么概念呢?
什么概念呢?
相当于一些小型的国家的全年的所有的用水量。
相当于一些小型的国家的全年的所有的用水量。
所以算力的竞争,大家现在都说是什么电力的竞争,某种程度上也是水的竞争,尤其是水技术应用的一个竞争。
所以算力的竞争,大家现在都说是什么电力的竞争,某种程度上也是水的竞争,尤其是水技术应用的一个竞争。
关于这背后的门道呢我们就请教了一家来自丹麦的公司专注于水技术解决方案的格兰富他们提供了很多案例和资料让我们能够一窥数据中心算力冷却和水这些名词之间千丝万缕的。
关于这背后的门道呢我们就请教了一家来自丹麦的公司专注于水技术解决方案的格兰富他们提供了很多案例和资料让我们能够一窥数据中心算力冷却和水这些名词之间千丝万缕的。
联系这里也感谢格兰富对于本期节目的支持。
联系这里也感谢格兰富对于本期节目的支持。
这次跟格兰富专家做过一些访谈啊,就感觉理解了很多整个系统是怎么运转的。
这次跟格兰富专家做过一些访谈啊,就感觉理解了很多整个系统是怎么运转的。
嗯,我们就先说一下数据中心的冷却系统。
嗯,我们就先说一下数据中心的冷却系统。
那数据中心冷却系统呢,其实就是一个巨大的循环系统,它可以分为两个部分:一个是在服务器侧,一个是在冷源侧。
那数据中心冷却系统呢,其实就是一个巨大的循环系统,它可以分为两个部分:一个是在服务器侧,一个是在冷源侧。
我们先说服务器侧,这个就是很显然是一个热源,冷却液呢就会在热源附近就运行,然后贴身带走每排服务器、每个机柜,甚至说每块GPU产生的热量。
我们先说服务器侧,这个就是很显然是一个热源,冷却液呢就会在热源附近就运行,然后贴身带走每排服务器、每个机柜,甚至说每块GPU产生的热量。
嗯。
嗯。
把这些热量都吸收完了呢,这个冷却液就会继续流向冷源侧。
把这些热量都吸收完了呢,这个冷却液就会继续流向冷源侧。
可以把冷源侧理解为整个数据中心的一个散热总站,负责将所有带回来的热量通过热交换,最终排放到室外环境。
可以把冷源侧理解为整个数据中心的一个散热总站,负责将所有带回来的热量通过热交换,最终排放到室外环境。
然后冷却液呢,降温了以后就可以继续在这个系统里面循环,再回到热源侧,然后继续去把服务器侧的这个热量带走。
然后冷却液呢,降温了以后就可以继续在这个系统里面循环,再回到热源侧,然后继续去把服务器侧的这个热量带走。
是的,这样一个循环理解之后呢,我们就了解了为什么数据中心要强调冷却系统的稳定和可靠这两个关键词。
是的,这样一个循环理解之后呢,我们就了解了为什么数据中心要强调冷却系统的稳定和可靠这两个关键词。
因为无论是冷源侧还是服务器侧,你要让冷却液在这个循环系统里边能够一直流转起来、跑起来的话,你其实要靠一个很重要的设备,就是水泵。
因为无论是冷源侧还是服务器侧,你要让冷却液在这个循环系统里边能够一直流转起来、跑起来的话,你其实要靠一个很重要的设备,就是水泵。
人为的是加压。
人为的是加压。
对吧?
对吧?
对对,其实水泵大家应该不是很陌生啊。
对对,其实水泵大家应该不是很陌生啊。
你像我们比如说大楼里边的中央空调、酒店里边的供暖啊,包括工业的生产线上面啊,包括我们家里边洗澡要有一个稳定的水压,背后都是要靠这样一个设备。
你像我们比如说大楼里边的中央空调、酒店里边的供暖啊,包括工业的生产线上面啊,包括我们家里边洗澡要有一个稳定的水压,背后都是要靠这样一个设备。
看似很前沿的AI产业,最后也会落到一些很传统、很基础但是不可替代的硬件上。
看似很前沿的AI产业,最后也会落到一些很传统、很基础但是不可替代的硬件上。
嗯,只不过呢,在数据中心里面,水泵的要求要更多,需要它更加聪明、更加高效。
嗯,只不过呢,在数据中心里面,水泵的要求要更多,需要它更加聪明、更加高效。
因为数据中心的负载啊是不断变化的,比如说你当算力需求高,服务器的温度上升的时候,这就需要输送更多的冷却液,这很好理解对吧?
因为数据中心的负载啊是不断变化的,比如说你当算力需求高,服务器的温度上升的时候,这就需要输送更多的冷却液,这很好理解对吧?
那你负载下降了呢,冷却的需求要跟着变化。
那你负载下降了呢,冷却的需求要跟着变化。
就需要你冷却系统中的水泵啊,还有水技术的解决方案。
就需要你冷却系统中的水泵啊,还有水技术的解决方案。
它能够根据服务器的温度啊,整个系统的压力、流量自动地来调整运行的状态,实现所谓的按需供冷。
它能够根据服务器的温度啊,整个系统的压力、流量自动地来调整运行的状态,实现所谓的按需供冷。
就有点像家里那个变频空调对吧?
就有点像家里那个变频空调对吧?
就是它的这个功率不是一直都是最大的,而是根据你实际需求去自动调节的。
就是它的这个功率不是一直都是最大的,而是根据你实际需求去自动调节的。
对的,而且啊,就是为什么说这个系统复杂,因为它每个服务器它的产热都很巨大是吗?
对的,而且啊,就是为什么说这个系统复杂,因为它每个服务器它的产热都很巨大是吗?
然后这个机柜的密度又越来越高。
然后这个机柜的密度又越来越高。
你冷却系统,你不能只在一个机房的外围这样给它热源散掉。
你冷却系统,你不能只在一个机房的外围这样给它热源散掉。
必须要对每一排的服务器、每个机柜来做单独的冷却。
必须要对每一排的服务器、每个机柜来做单独的冷却。
等于像这个毛细血管的深处,密度更加高了,更加复杂了。
等于像这个毛细血管的深处,密度更加高了,更加复杂了。
这个就对水泵的性能还有稳定性提出了更高的要求。
这个就对水泵的性能还有稳定性提出了更高的要求。
那像格兰富之所以能够做这个解决方案呢,很大程度上是因为他之前在工业生产啊、然后商业建筑啊、还有家用的建筑,包括市政供水这个领域都已经有了比较丰富的经验。
那像格兰富之所以能够做这个解决方案呢,很大程度上是因为他之前在工业生产啊、然后商业建筑啊、还有家用的建筑,包括市政供水这个领域都已经有了比较丰富的经验。
不单单是提供一个单的水泵,而是要做整个水系统的解决方案。
不单单是提供一个单的水泵,而是要做整个水系统的解决方案。
所以他能够现在再来做数据中心的这样一个冷却方案。
所以他能够现在再来做数据中心的这样一个冷却方案。
嗯,等于说他围绕数据中心的看起来很独特的要求,其实他也很有很扎实的设计和制造的经验。
嗯,等于说他围绕数据中心的看起来很独特的要求,其实他也很有很扎实的设计和制造的经验。
嗯。
嗯。
刚才呢,我们讲的是稳定这个点。
刚才呢,我们讲的是稳定这个点。
除了稳定以外呢,数据中心对于冷却还有另一个要求,就是高效。
除了稳定以外呢,数据中心对于冷却还有另一个要求,就是高效。
其实这两点是紧密联系在一起的。
其实这两点是紧密联系在一起的。
有一件事情我们可以理解,就是现在其实低碳啊、节能是各地对于数据中心建设的一个非常高的要求。
有一件事情我们可以理解,就是现在其实低碳啊、节能是各地对于数据中心建设的一个非常高的要求。
大家都知道,数据中心会消耗很多的资源,嗯,其实这个当中冷却系统本身就是一个能耗的大户。
大家都知道,数据中心会消耗很多的资源,嗯,其实这个当中冷却系统本身就是一个能耗的大户。
我们看到个数据是说,冷却系统占整个数据中心的整体能耗的38%。
我们看到个数据是说,冷却系统占整个数据中心的整体能耗的38%。
相当于不仅是机柜在耗能,就是冷却这件事情本身也在耗能。
相当于不仅是机柜在耗能,就是冷却这件事情本身也在耗能。
对,所以你改善冷却系统,本质就是在降低数据中心的整体能耗。
对,所以你改善冷却系统,本质就是在降低数据中心的整体能耗。
这件事情本身就很重要,也是能够减少运营成本的一个很有效的方式。
这件事情本身就很重要,也是能够减少运营成本的一个很有效的方式。
那么格兰富在跟我们交流的时候,他就提到说优化冷却系统最高可以降低高达70%的能耗。
那么格兰富在跟我们交流的时候,他就提到说优化冷却系统最高可以降低高达70%的能耗。
就是说降低这个幅度啊。
就是说降低这个幅度啊。
这我不太能理解,因为循环这个事情听上去已经很好了。
这我不太能理解,因为循环这个事情听上去已经很好了。
还能再优化吗?
还能再优化吗?
我们还是回到刚才讲的那个循环系统,不是有两个侧嘛,啊那在冷源侧的时候,其实你可以通过很多方法来做一些改进的,比如说你可以提供搭载在制冷主机和蓄冷罐当中的高效的水泵和泵控系统。
我们还是回到刚才讲的那个循环系统,不是有两个侧嘛,啊那在冷源侧的时候,其实你可以通过很多方法来做一些改进的,比如说你可以提供搭载在制冷主机和蓄冷罐当中的高效的水泵和泵控系统。
还有呢,你可以做预制化的集装箱式的集成冷战。
还有呢,你可以做预制化的集装箱式的集成冷战。
还有比如说你可以结合数字化的智能的监测平台,这样的话就能让这个冷量高效的、稳定的输送到整个数据中心。
还有比如说你可以结合数字化的智能的监测平台,这样的话就能让这个冷量高效的、稳定的输送到整个数据中心。
刚刚这一套不同的技术合在一起的解决方案,整个就能节省大约10%~15%的能耗。
刚刚这一套不同的技术合在一起的解决方案,整个就能节省大约10%~15%的能耗。
然后在服务器侧呢,其实也可以做很多多样化的智能泵,还有智慧的调节系统。
然后在服务器侧呢,其实也可以做很多多样化的智能泵,还有智慧的调节系统。
就是两边都做一些智慧的调节,它也能够提升整个输配系统的能效,大约30%~50%。
就是两边都做一些智慧的调节,它也能够提升整个输配系统的能效,大约30%~50%。
感受到了你跟专家访谈学到了很多东西,但是能不能给我们讲一些更能听懂的实际的案例?
感受到了你跟专家访谈学到了很多东西,但是能不能给我们讲一些更能听懂的实际的案例?
刚才名词也太多了,对吧?
刚才名词也太多了,对吧?
反正就只记得后面能够节省两个比例啊。
反正就只记得后面能够节省两个比例啊。
我们举一个格兰富为河南智能超算中心设计的一个方案。
我们举一个格兰富为河南智能超算中心设计的一个方案。
嗯,河南这两年一直在推所谓的算力之城建设,感觉也是一个我们未来可以考虑的话题方向。
嗯,河南这两年一直在推所谓的算力之城建设,感觉也是一个我们未来可以考虑的话题方向。
城市就是这样的一个角度可以讲对吧?
城市就是这样的一个角度可以讲对吧?
嗯,那在这个项目里面呢,格兰富就是采用了前面提到的一个技术啊,就是预制化集装箱式的集成冷战。
嗯,那在这个项目里面呢,格兰富就是采用了前面提到的一个技术啊,就是预制化集装箱式的集成冷战。
这里边的这关键词呢,其实就是预制化。
这里边的这关键词呢,其实就是预制化。
传统的数据中心你要建冷却系统的话,是需要把大量的冷却设备运到现场再安装调试的,像在建一个工厂一样的。
传统的数据中心你要建冷却系统的话,是需要把大量的冷却设备运到现场再安装调试的,像在建一个工厂一样的。
或者说你在里面建一套管网系统。
或者说你在里面建一套管网系统。
是的,预制化集装箱式的集成冷战呢,就是你提前把这个水泵啊、智能变频控制系统啊等等设备都安装好、测试好,然后你运到现场就即插即用,马上就部署到这个数据中心里面去。
是的,预制化集装箱式的集成冷战呢,就是你提前把这个水泵啊、智能变频控制系统啊等等设备都安装好、测试好,然后你运到现场就即插即用,马上就部署到这个数据中心里面去。
这样操作下来呢,首先你可以提升施工的效率,对吧?
这样操作下来呢,首先你可以提升施工的效率,对吧?
整个项目的周期他们说只要40天。
整个项目的周期他们说只要40天。
这个肯定是比较短的。
这个肯定是比较短的。
啊,这个其实对于现在数据中心的建设潮来说是很好的一个事情。
啊,这个其实对于现在数据中心的建设潮来说是很好的一个事情。
对对对对,你一边建你就一边扩容了,你需要的时候你就加一块。
对对对对,你一边建你就一边扩容了,你需要的时候你就加一块。
其实你在这个需求爆发的过程当中,你这个快速的建设效率本身就是有价值。
其实你在这个需求爆发的过程当中,你这个快速的建设效率本身就是有价值。
嗯,还一点就是它对于降低能耗就提升这个效率是有帮助的。
嗯,还一点就是它对于降低能耗就提升这个效率是有帮助的。
因为预制化还有一个好处就是定制化。
因为预制化还有一个好处就是定制化。
嗯,你就你一开始提的需求我就按照你这个做。
嗯,你就你一开始提的需求我就按照你这个做。
对,你就是根据单个这个数据中心一些特殊的要求,比如它的排布啊等等的,你就可以来为它设置冷战,最后的这个效果肯定是比你一个统一的解决方案。
对,你就是根据单个这个数据中心一些特殊的要求,比如它的排布啊等等的,你就可以来为它设置冷战,最后的这个效果肯定是比你一个统一的解决方案。
或者你到现场再去调,那就是更好的。
或者你到现场再去调,那就是更好的。
它这套方案配备的这个输配系统啊,就有点像一个调度员,就可以实现我们前面讲的实时的调节泵组的运行的状态啊,预防水垢啊、污染物啊等等的,还能延长这个设备的寿命。
它这套方案配备的这个输配系统啊,就有点像一个调度员,就可以实现我们前面讲的实时的调节泵组的运行的状态啊,预防水垢啊、污染物啊等等的,还能延长这个设备的寿命。
它就有这样的一些功效,所以呢,就能够让整个冷却系统保持一个长期的高效且稳定的运行模式。
它就有这样的一些功效,所以呢,就能够让整个冷却系统保持一个长期的高效且稳定的运行模式。
那回过头来看今天大家感受到的AI变化,可能是你用了很多聊天机器人,可能是你用上了AGENT,或者你用上了智能驾驶,甚至你看到了一个会做煎饼果子的机器人啊等等。
那回过头来看今天大家感受到的AI变化,可能是你用了很多聊天机器人,可能是你用上了AGENT,或者你用上了智能驾驶,甚至你看到了一个会做煎饼果子的机器人啊等等。
但是当我们向AI提问的时候,其实很少会想到背后有数据中心,然后数据中心有冷却系统。
但是当我们向AI提问的时候,其实很少会想到背后有数据中心,然后数据中心有冷却系统。
嗯,这些变化其实都建立在传统的基础设施之上。
嗯,这些变化其实都建立在传统的基础设施之上。
嗯,这么来看的话,AI发展不仅是所谓的算法的革命。
嗯,这么来看的话,AI发展不仅是所谓的算法的革命。
也是基础设施的革命。
也是基础设施的革命。
很多时候运行越稳定的基础设施,它的存在感反而越低,但正是这些看不见的系统支撑着整个数字世界的持续运转。
很多时候运行越稳定的基础设施,它的存在感反而越低,但正是这些看不见的系统支撑着整个数字世界的持续运转。
商业小样,下期见。
商业小样,下期见。
下期见。
下期见。
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕,帮助你打破语言障碍,轻松听懂全球优质播客。