What's Next|科技早知道 - 国产 AI 算力能凭「超节点」弯道超车吗? | WAIC 深度观察 S10E23 封面

国产 AI 算力能凭「超节点」弯道超车吗? | WAIC 深度观察 S10E23

国产 AI 算力能凭「超节点」弯道超车吗? | WAIC 深度观察 S10E23

本集简介

2026 年 7 月的世界人工智能大会 (WAIC) 现场,上海 40 度的高温里,跟天气一样热的,还有国产算力「超节点」。自从去年华为第一个推出 CloudMatrix 384 超节点后,今年就有超过 10 家厂商跟进——华为昇腾、阿里云磐久、百度智能云天池,国产 AI 芯片「四小龙」也都把超节点机柜摆上了展位最显眼的位置。券商把 2026 年叫作「国产超节点元年」。单颗芯片算力追不上英伟达,把几百甚至上千颗芯片堆在一起做成超节点,就能在系统层面弯道超车吗? 这期节目我们请来前芯片行业从业者张海军和我们一起聊聊 WAIC 现场,并且深度的从硬件架构到商业格局逐层拆解超节点。我们一起聊了聊从去年到今年超节技术方案都有哪些进展;国产超节点的性能能否真正超越英伟达--差距和机会分别在哪;当所有人都冲进同一条赛道,谁能在硬件产能和软件生态的夹击下活到最后。 本期人物 Yaxian,「科技早知道」主播 张海军,前新思科技高级工程师、半导体公众号「傅里叶的猫」主理人 时间轴 [01:44] 逛展观察:FOMO 蔓延,超节点成了展商标配 人流量远超去年,同类产品扎堆,同质化竞争严重 国产超节点数量远超预期,连 OEM 厂商都推自己的方案 [06:10] 从 8 卡机到机柜:超节点要拆的是“通信墙” 传统 8 卡机时代,AI 芯片大量时间不在计算,而在等数据传输 超节点用低延时高带宽网络把几十到上千颗芯片组成 Scale-up 域 [08:30] Scale-up 与 Scale-out:两者的边界逐渐模糊 华为 16 个机柜 384 卡也算 Scale-up,阿里磐久单柜内分上下两半 新定义:软件能把一整片区域当做“巨型 GPU”跑集合通信,就是 Scale-up [11:43] 单芯片追不上,系统层面补 国产单芯片制程落后,短时间难弥补,从系统层面提升是务实选择 Kimi K3 总参数 2.8T、896 个专家,官方建议 64 卡以上超节点推理 海外 NV、谷歌、AMD 单芯片提升也遇瓶颈,互联技术成熟让超节点产品化成为可能 [15:21] 割裂的 Scale-up 生态:UALink 松散,私有协议割据 海外 UALink 联盟看似豪华,实际只有 AMD 一家在推,博通已退出自搞 国内华为 UB、阿里、壁仞、摩尔线程、沐曦各有私有协议,互不兼容 华为 UB 的独特优势:NPU、CPU、SSD 全用同一协议, NV 的 NVLink 和 InfiniBand 则分属两个团队 [21:35] 标杆对比:NVL72 与 CloudMatrix 384,功耗换算力的取舍 NVL72 单柜 72 颗 B200,功耗超 120 千瓦 CloudMatrix 384 单卡算力仅 B200 的约 30%,总算力却是 NVL72 的 1.7 倍 铜缆 vs 光纤、延时 vs 算力的多重折中 [27:01] 整机厂商不甘只做组装:中兴自研交换芯片,曦智押注光互连 中兴推出自研 OLink 交换芯片 曦智科技刚 IPO,定位超节点里的光通信和光交换模块供应商 [32:50] 国产超节点能超英伟达吗? 系统层面参数确实超过 NVL72,但“堆料强”不等于“超 NV” 参数赢了,CUDA 还没破 [37:03] 产能才是真瓶颈:年底拿不到大单,后面就难了 芯片种类多但产能小,卡点在量产而非方案设计 软件生态各异,互联网大厂不可能适配太多家,洗牌比自动驾驶来得更快 [42:42] 超节点的连锁反应:800V 供电、液冷渗透、国产交换芯片 供电:NV 推 800V 高压直流,电源也要上液冷 液冷:谷歌预计 2027 年液冷需求价值量是今年的 4 倍 网络:国产交换芯片已能跟博通相媲美,Scale-out 域开始国产替代 「Knock Knock 世界」 春晚耍刀弄剑的人形机器人,真能走进我们的日常生活了吗?https://sourl.co/QQAdZr 在「Knock Knock 世界」里,听到全球新鲜事,还能成为「全球观察员」,报选题、参加选题会。2026 年的节目正在持续更新,有4期免费试听,苹果播客上还可以还【按月】随时订阅节目。 幕后制作 监制:Yaxian 后期:迪卡 运营:George 设计:饭团 商业合作 声动活泼商业化小队,点击链接直达声动商务会客厅,也可发送邮件至 business@shengfm.cn 联系我们。 加入声动活泼 声动活泼正在招聘全职商务运营经理、早咖啡内容实习生和社群实习生,如果你也对播客行业的内容制作感兴趣,欢迎点击招聘入口 关于声动活泼 「用声音碰撞世界」,声动活泼致力于为人们提供源源不断的思考养料。 我们还有这些播客:声动早咖啡、声东击西、吃喝玩乐了不起、反潮流俱乐部、泡腾 VC、商业WHY酱、跳进兔子洞 、不止金钱 欢迎在即刻、微博等社交媒体上与我们互动,搜索 声动活泼 即可找到我们。 期待你给我们写邮件,邮箱地址是:ting@sheng.fm 欢迎扫码添加声小音,在节目之外和我们保持联系。 Special Guest: 张海军.

双语字幕

仅展示文本字幕,不包含中文音频;想边听边看,请使用 Bayt 播客 App。

Speaker 0

用声音碰撞世界,生动活泼。

用声音碰撞世界,生动活泼。

Speaker 0

就有一种你没有把超节点的那个机柜放在你的展台最核心的位置,你都不好意思来这个展会的感觉。

就有一种你没有把超节点的那个机柜放在你的展台最核心的位置,你都不好意思来这个展会的感觉。

Speaker 1

即便是海外这些厂商,像安维、像谷歌、像MD,它的单芯片性能提升其实也是有瓶颈的。

即便是海外这些厂商,像安维、像谷歌、像MD,它的单芯片性能提升其实也是有瓶颈的。

Speaker 0

国产现在这些超节点后能超过英伟达吗?

国产现在这些超节点后能超过英伟达吗?

Speaker 1

我们可以从KIMI K3的角度去分析,就是因为现在我们大模型的参数都变得很大了。

我们可以从KIMI K3的角度去分析,就是因为现在我们大模型的参数都变得很大了。

Speaker 0

需要这么多国产厂商来供给芯片或者是超节点吗?

需要这么多国产厂商来供给芯片或者是超节点吗?

Speaker 1

到了今年年底,甚至说到了明年吧,你还没有从这几家大的互联网厂商拿到一个大的订单的话,那我觉得后面可能就比较难了。

到了今年年底,甚至说到了明年吧,你还没有从这几家大的互联网厂商拿到一个大的订单的话,那我觉得后面可能就比较难了。

Speaker 0

那究竟什么算是超节点呢?

那究竟什么算是超节点呢?

Speaker 0

与全球创新第一时间同步,这里是科技早知道。

与全球创新第一时间同步,这里是科技早知道。

Speaker 0

DEEP TECH深科技系列,我是雅贤,欢迎跟我一起探索最新、最前沿的硬核科技。

DEEP TECH深科技系列,我是雅贤,欢迎跟我一起探索最新、最前沿的硬核科技。

Speaker 0

大家好,欢迎大家来到我们今天的科技早知道,我是雅贤。

大家好,欢迎大家来到我们今天的科技早知道,我是雅贤。

Speaker 0

那我上周呢,是去到了世界人工智能大会WIC的现场。

那我上周呢,是去到了世界人工智能大会WIC的现场。

Speaker 0

那除了上海这个40度的高温啊,也是被大家对AI的热情灼烧到了。

那除了上海这个40度的高温啊,也是被大家对AI的热情灼烧到了。

Speaker 0

跟我一起逛展的呢,还有我们节目的老朋友——前芯片行业的从业者。

跟我一起逛展的呢,还有我们节目的老朋友——前芯片行业的从业者。

Speaker 0

之前跟我们聊过存储芯片那期节目的张海军老师。

之前跟我们聊过存储芯片那期节目的张海军老师。

Speaker 0

哈喽。

哈喽。

Speaker 1

海军老师好!

海军老师好!

Speaker 1

嗯,大家好。

嗯,大家好。

Speaker 0

那我们一开始呢可能想先跟大家分享一下我们这次啊逛展的一些感受,然后之后呢会聊一个硬核的话题,然后请海军来跟我们深度的聊一聊他在这次展会上看到的国产AI算力的变化,尤其是今年非常火爆的超节点。

那我们一开始呢可能想先跟大家分享一下我们这次啊逛展的一些感受,然后之后呢会聊一个硬核的话题,然后请海军来跟我们深度的聊一聊他在这次展会上看到的国产AI算力的变化,尤其是今年非常火爆的超节点。

Speaker 1

我应该是周日下午去的吧,然后当时去的时候人真的是超级多,这就是比去年的人要多很多,然后第二个感想就是说今年展出的这些产品。

我应该是周日下午去的吧,然后当时去的时候人真的是超级多,这就是比去年的人要多很多,然后第二个感想就是说今年展出的这些产品。

Speaker 1

啊,相对去年就无论是从AI还是服务器还是机器人方面,就是有很大的进步。

啊,相对去年就无论是从AI还是服务器还是机器人方面,就是有很大的进步。

Speaker 1

然后第二就是我也看到了很多同类型的产品,所以我感觉这些厂商呃有很强的风靡的心理,同质化竞争太严重了。

然后第二就是我也看到了很多同类型的产品,所以我感觉这些厂商呃有很强的风靡的心理,同质化竞争太严重了。

Speaker 1

第三个是说国产的超级点真的是太多了,就是我之前也很关注这一块嘛,但是没有想到今年有这么多家厂商都推出了自己的超级点方案,就是包括一家芯片厂商,甚至包括几家。

第三个是说国产的超级点真的是太多了,就是我之前也很关注这一块嘛,但是没有想到今年有这么多家厂商都推出了自己的超级点方案,就是包括一家芯片厂商,甚至包括几家。

Speaker 1

我们所谓的OEM厂商,就是他们之前以做服务器为主要业务嘛。

我们所谓的OEM厂商,就是他们之前以做服务器为主要业务嘛。

Speaker 1

对,就是我没想到他们也会推出自己的调节点。

对,就是我没想到他们也会推出自己的调节点。

Speaker 0

我跟你的感受真的一模一样,就是FORMAL情绪超级严重。

我跟你的感受真的一模一样,就是FORMAL情绪超级严重。

Speaker 0

就是任何一个赛道,然后从底层的硬件啊,不管是模型啊,然后像互联网大厂,像阿里、腾讯这样的,然后包括机器人,几乎每家都在同样的赛道上一起卷。

就是任何一个赛道,然后从底层的硬件啊,不管是模型啊,然后像互联网大厂,像阿里、腾讯这样的,然后包括机器人,几乎每家都在同样的赛道上一起卷。

Speaker 0

对,比如说你说这个机器人,我觉得看到今年其实机器人有两个主要趋势啊,一个就是每家都在说自己在做世界模型。

对,比如说你说这个机器人,我觉得看到今年其实机器人有两个主要趋势啊,一个就是每家都在说自己在做世界模型。

Speaker 0

但是这个世界模型究竟是什么呢?

但是这个世界模型究竟是什么呢?

Speaker 0

有些说是我是做机器人训练,有些是我这个数据生成。

有些说是我是做机器人训练,有些是我这个数据生成。

Speaker 0

有一些这个做视频的厂商也说自己在做世界模型。

有一些这个做视频的厂商也说自己在做世界模型。

Speaker 0

其实你问他们说你们的世界模型是什么,然后那边也呃蜘蛛说不清楚。

其实你问他们说你们的世界模型是什么,然后那边也呃蜘蛛说不清楚。

Speaker 0

对,有一个叫中医机器人,我是在西岸的那个馆。

对,有一个叫中医机器人,我是在西岸的那个馆。

Speaker 0

今年有三个馆,因为今年这个一下就扩大了很多嘛,然后有三个馆。

今年有三个馆,因为今年这个一下就扩大了很多嘛,然后有三个馆。

Speaker 0

然后西岸那个馆里头有个中医机器人。

然后西岸那个馆里头有个中医机器人。

Speaker 0

然后那个机器人呢,你说是一个机器人,其实就是一个摄像头。

然后那个机器人呢,你说是一个机器人,其实就是一个摄像头。

Speaker 0

然后前面有个大屏幕,它就是说可以望闻问切嘛。

然后前面有个大屏幕,它就是说可以望闻问切嘛。

Speaker 0

说请张开你的嘴,然后请贴近你的耳朵。

说请张开你的嘴,然后请贴近你的耳朵。

Speaker 0

然后当时就有一个可能1米9几的年轻小伙坐在那儿,然后边上围了一堆人看这个中心机器人怎么跟他望闻问切,就是大型社死现场,你知道吧?

然后当时就有一个可能1米9几的年轻小伙坐在那儿,然后边上围了一堆人看这个中心机器人怎么跟他望闻问切,就是大型社死现场,你知道吧?

Speaker 0

就是你张张嘴啊,然后周围的人都瞪着盯着眼睛看你的那个舌头是什么样。

就是你张张嘴啊,然后周围的人都瞪着盯着眼睛看你的那个舌头是什么样。

Speaker 0

对,然后你就看以后你就会觉得,嗯,这个东西真的能算前沿吗?

对,然后你就看以后你就会觉得,嗯,这个东西真的能算前沿吗?

Speaker 0

对、对、对。

对、对、对。

Speaker 0

然后大模型厂商这边呢,就是在WIC的前几天,一个是那个接月接月星辰发布了他们的一个智能旗手机,它那个手机外壳都是封着的,不让你看的,它只有一个在边上的一个投屏嘛,你可以通过那个投屏来看手机屏幕。

然后大模型厂商这边呢,就是在WIC的前几天,一个是那个接月接月星辰发布了他们的一个智能旗手机,它那个手机外壳都是封着的,不让你看的,它只有一个在边上的一个投屏嘛,你可以通过那个投屏来看手机屏幕。

Speaker 0

然后呢,那个我是排了半小时队,真的是排不到啊,最后我就放弃了。

然后呢,那个我是排了半小时队,真的是排不到啊,最后我就放弃了。

Speaker 0

还有另外一个呢,就是KIMI嘛,KIMI之前是发了K3,所以他那个队伍也排得特别的长。

还有另外一个呢,就是KIMI嘛,KIMI之前是发了K3,所以他那个队伍也排得特别的长。

Speaker 0

其实他们没有太多展品,但是好像是可以。

其实他们没有太多展品,但是好像是可以。

Speaker 0

就是扫码领礼品什么的,然后我正好在KIMI那展台旁边看到一个老外,呃,跟他聊了聊。

就是扫码领礼品什么的,然后我正好在KIMI那展台旁边看到一个老外,呃,跟他聊了聊。

Speaker 0

然后他就说:KIMI是我这次来会一定要看的一个展商。

然后他就说:KIMI是我这次来会一定要看的一个展商。

Speaker 0

嗯,行,那我们这个大概聊了聊对展会的感受啊。

嗯,行,那我们这个大概聊了聊对展会的感受啊。

Speaker 0

我们下面就到一个深水区,就聊一聊这个AI的底层的硬件。

我们下面就到一个深水区,就聊一聊这个AI的底层的硬件。

Speaker 0

那今年其实硬件的厂商不光是在单片的这个芯片上卷算力了,而是开始关注怎么样把这个AI芯片组队形成一个超节点。

那今年其实硬件的厂商不光是在单片的这个芯片上卷算力了,而是开始关注怎么样把这个AI芯片组队形成一个超节点。

Speaker 0

然后今年WIC上的超节点产品是发布了超过十个,不只是有芯片厂商,还有这种服务器厂商啊,这种OEM的整机厂商。

然后今年WIC上的超节点产品是发布了超过十个,不只是有芯片厂商,还有这种服务器厂商啊,这种OEM的整机厂商。

Speaker 0

都把超节点放在了他们这个展位最显眼的位置。

都把超节点放在了他们这个展位最显眼的位置。

Speaker 0

我记得我跟你逛展的时候,逛了两三个展台,每个都有超节点。

我记得我跟你逛展的时候,逛了两三个展台,每个都有超节点。

Speaker 0

走到第四个发现没有?

走到第四个发现没有?

Speaker 0

诶诶,这家厂商怎么没有超节点?

诶诶,这家厂商怎么没有超节点?

Speaker 0

对,就有一种你没有把超节点的那个机柜放在你的展台最核心的位置,你都不好意思来这个展会的感觉。

对,就有一种你没有把超节点的那个机柜放在你的展台最核心的位置,你都不好意思来这个展会的感觉。

Speaker 1

对,是。

对,是。

Speaker 1

但是当时我记得是我们逛到天数的时候发现的,没有超节点。

但是当时我记得是我们逛到天数的时候发现的,没有超节点。

Speaker 1

但是天数它其实在那个展会它是有个宣讲会的。

但是天数它其实在那个展会它是有个宣讲会的。

Speaker 1

然后他在宣讲会上也发布了超节点,只不过他没有把他的产品放到展会里面去。

然后他在宣讲会上也发布了超节点,只不过他没有把他的产品放到展会里面去。

Speaker 0

对,然后我先跟大家报一个菜名啊,大家感受一下这个这个气势啊。

对,然后我先跟大家报一个菜名啊,大家感受一下这个这个气势啊。

Speaker 0

就是今年至少在WIC上展示了他们超节点的这些厂家,比如说像华为升腾的ATLAS950SUPERPART,然后还有呢,阿里云推出了这个真五M890,是他们的镇馆之宝。

就是今年至少在WIC上展示了他们超节点的这些厂家,比如说像华为升腾的ATLAS950SUPERPART,然后还有呢,阿里云推出了这个真五M890,是他们的镇馆之宝。

Speaker 0

然后这个百度智能云呢,也是有天池的超节点,然后国产芯片的四小龙啊,一家不少,必任摩尔县城木西还有岁元也都展示了自己的超节点。

然后这个百度智能云呢,也是有天池的超节点,然后国产芯片的四小龙啊,一家不少,必任摩尔县城木西还有岁元也都展示了自己的超节点。

Speaker 0

另外呢,就是像中科曙光呀、中兴等等等等,已经数不过来了。

另外呢,就是像中科曙光呀、中兴等等等等,已经数不过来了。

Speaker 0

所以这个券商是把2026年叫做国产超节点的元年,对,然后当时逛展的时候,这个海军是带着我一个一个如数家珍的给我介绍每家的这个技术特点。

所以这个券商是把2026年叫做国产超节点的元年,对,然后当时逛展的时候,这个海军是带着我一个一个如数家珍的给我介绍每家的这个技术特点。

Speaker 0

那海军要不要来先跟我们说说,就是我们平常说的这个超节点,当时你在展会上最直观的感受就是又高又宽的这个机柜啊,扑面而来的气势。

那海军要不要来先跟我们说说,就是我们平常说的这个超节点,当时你在展会上最直观的感受就是又高又宽的这个机柜啊,扑面而来的气势。

Speaker 0

对,然后那究竟什么算是超节点呢?

对,然后那究竟什么算是超节点呢?

Speaker 1

从这个形态上其实很好理解,就是我们传统服务器都是八卡机嘛,包括nv的,包括咱国内的服务器都八卡机为主,呃,是一个比较偏正方体的一个形态,然后就是它里面有。

从这个形态上其实很好理解,就是我们传统服务器都是八卡机嘛,包括nv的,包括咱国内的服务器都八卡机为主,呃,是一个比较偏正方体的一个形态,然后就是它里面有。

Speaker 1

8个 ai 卡,然后再加上两个或者或者说4个 cpu,对,跟现在的机柜形态是不一样。

8个 ai 卡,然后再加上两个或者或者说4个 cpu,对,跟现在的机柜形态是不一样。

Speaker 1

咱现在看到的都是那种很长的,就是那种长方体的,对,然后它里面呢是有几十到这个上百张卡,从八卡机到超节点,它的一个主要变化其实是为了解决通信墙的问题。

咱现在看到的都是那种很长的,就是那种长方体的,对,然后它里面呢是有几十到这个上百张卡,从八卡机到超节点,它的一个主要变化其实是为了解决通信墙的问题。

Speaker 1

就是我们在模型变大之后呢,在做训练或推理的时候,我们的 ai 芯片它其实主要时间并不是在计算。

就是我们在模型变大之后呢,在做训练或推理的时候,我们的 ai 芯片它其实主要时间并不是在计算。

Speaker 1

而是在等待数据传输过来,然后再去做计算。

而是在等待数据传输过来,然后再去做计算。

Speaker 1

这样的话就是我们通过使用超级点的的这个形态,然后以及使用一些。

这样的话就是我们通过使用超级点的的这个形态,然后以及使用一些。

Speaker 1

低延时高带宽的网络传输技术然后把几十甚至上百张甚至上千个这个AI芯片做成一一个skill up网络对然后这样的话它就可以提高整个系统的效率然后呢就是让让这些AI芯片它主要是在啊跑计算而不是说在等待数据传输的过程。

低延时高带宽的网络传输技术然后把几十甚至上百张甚至上千个这个AI芯片做成一一个skill up网络对然后这样的话它就可以提高整个系统的效率然后呢就是让让这些AI芯片它主要是在啊跑计算而不是说在等待数据传输的过程。

Speaker 0

嗯类似于可以把这么多卡的GPU芯片全都整合在一起然后让它们能够同步的然后协调的进行高速的运算不是把时间花在这个数据传输上。

嗯类似于可以把这么多卡的GPU芯片全都整合在一起然后让它们能够同步的然后协调的进行高速的运算不是把时间花在这个数据传输上。

Speaker 1

对对对是的然后这里还有一个概念就是我们要澄清一下就是关于超级点以及超级群就是我们。

对对对是的然后这里还有一个概念就是我们要澄清一下就是关于超级点以及超级群就是我们。

Speaker 1

啊那观展的时候也会看到,就比如说像曙光吧它的展示的产品叫超级群不是超级点。

啊那观展的时候也会看到,就比如说像曙光吧它的展示的产品叫超级群不是超级点。

Speaker 0

嗯他们叫万卡超级群。

嗯他们叫万卡超级群。

Speaker 1

对对对对是的,它那个其实是是说把曙光自己的多个超级点把它组成一个万卡集群。

对对对对是的,它那个其实是是说把曙光自己的多个超级点把它组成一个万卡集群。

Speaker 0

那一个超级点通常会有多少个芯片。

那一个超级点通常会有多少个芯片。

Speaker 1

每个厂家的方案是不一样的啊像NV它低的超级点的话就NV那个72嘛然后它里面总共是有772个B200,嗯对。

每个厂家的方案是不一样的啊像NV它低的超级点的话就NV那个72嘛然后它里面总共是有772个B200,嗯对。

Speaker 1

然后华为呢,它是有384个这个910C;然后阿里呢,这个盘9里面它是有128张卡,但是它这个卡呢是翻了上下,就是它这个上面64个卡、下面64个卡,上下64各算一个skill up word,对它上下传输就算out了。

然后华为呢,它是有384个这个910C;然后阿里呢,这个盘9里面它是有128张卡,但是它这个卡呢是翻了上下,就是它这个上面64个卡、下面64个卡,上下64各算一个skill up word,对它上下传输就算out了。

Speaker 0

哎,对你其实你一直在说这个skill up。

哎,对你其实你一直在说这个skill up。

Speaker 0

还有skill out,其实很多文章里头都会也都会提到这两个概念,可不可以给我们解释一下什么叫做skill up?

还有skill out,其实很多文章里头都会也都会提到这两个概念,可不可以给我们解释一下什么叫做skill up?

Speaker 0

什么叫做我理解skill up?

什么叫做我理解skill up?

Speaker 0

其实叫纵向扩展,skill out叫横向扩展。

其实叫纵向扩展,skill out叫横向扩展。

Speaker 1

从这两个单词其实也很好理解,一个是up,一个是out嘛,就一个是上下,一个是左右的。

从这两个单词其实也很好理解,一个是up,一个是out嘛,就一个是上下,一个是左右的。

Speaker 1

但是这个是我们传统的理解上是这样理解。

但是这个是我们传统的理解上是这样理解。

Speaker 0

就是上下是怎么个skill up呀?

就是上下是怎么个skill up呀?

Speaker 1

嗯比如说英伟达的GB200,因为那个72这个是最典型的能够理解up和和out的这个一个形态。

嗯比如说英伟达的GB200,因为那个72这个是最典型的能够理解up和和out的这个一个形态。

Speaker 1

就是它里面呢,一个机柜是有72个卡,那它单机柜的这个连接都算 up 它里面是有18个 computer tree 然后它这个 tree 的排列就是就是从上到下依次排列的,对,所以它这整个互联叫 up 然后它机柜之间的互联就算 out 但是现在随着我们整个计算网络的扩大,就是我们不能够只是按照机柜去定义它的 up 和 out 了。

就是它里面呢,一个机柜是有72个卡,那它单机柜的这个连接都算 up 它里面是有18个 computer tree 然后它这个 tree 的排列就是就是从上到下依次排列的,对,所以它这整个互联叫 up 然后它机柜之间的互联就算 out 但是现在随着我们整个计算网络的扩大,就是我们不能够只是按照机柜去定义它的 up 和 out 了。

Speaker 1

就是现在定义,就是如果说只看形态的上的话,它的定义是很模糊的。

就是现在定义,就是如果说只看形态的上的话,它的定义是很模糊的。

Speaker 1

嗯。

嗯。

Speaker 1

就是呃,可以把多个机柜的互联也算做skill up,也可以把单个机柜内的互联当做skill out。

就是呃,可以把多个机柜的互联也算做skill up,也可以把单个机柜内的互联当做skill out。

Speaker 1

比如说阿里的盘子超一点,它的盘九、盘九一、二八那个超一点,它整个机柜里面是有这个一二八个卡,然后它上面64、下面64,阿里自己的定义是说它上下64之间的互联。

比如说阿里的盘子超一点,它的盘九、盘九一、二八那个超一点,它整个机柜里面是有这个一二八个卡,然后它上面64、下面64,阿里自己的定义是说它上下64之间的互联。

Speaker 1

是算SKILL UP,但是它上跟下面之间的互联就算OUT了。

是算SKILL UP,但是它上跟下面之间的互联就算OUT了。

Speaker 1

但是它这个卡都是在一个大的机柜里面,对?

但是它这个卡都是在一个大的机柜里面,对?

Speaker 1

所以我们现在不能以机柜作为这个定义,它是UP还是OUT了。

所以我们现在不能以机柜作为这个定义,它是UP还是OUT了。

Speaker 1

现在简单的定义是说,就是呃咱的软件它只要能把这整个区域当做一个巨型的GPU去执行REDUCE,包括ALL。

现在简单的定义是说,就是呃咱的软件它只要能把这整个区域当做一个巨型的GPU去执行REDUCE,包括ALL。

Speaker 1

OK的这种操作,那我们就可以把这个区域当做一个SCHOOL UPWARD来看待。

OK的这种操作,那我们就可以把这个区域当做一个SCHOOL UPWARD来看待。

Speaker 0

嗯,明白?

嗯,明白?

Speaker 0

你像华为他们去年发布那个特别火的那个384的超节点,他们其实384块卡其实是在12加4的16个机柜里头,但是它那个也算是SCHOOL UP.

你像华为他们去年发布那个特别火的那个384的超节点,他们其实384块卡其实是在12加4的16个机柜里头,但是它那个也算是SCHOOL UP.

Speaker 1

对吧?

对吧?

Speaker 1

对对对,是的。

对对对,是的。

Speaker 1

华为的这个方案跟NV的方案,或者说跟其他传统的方案的区别是非常大的。

华为的这个方案跟NV的方案,或者说跟其他传统的方案的区别是非常大的。

Speaker 1

华为它推出的第一个超一点,它就使用了16个机位。

华为它推出的第一个超一点,它就使用了16个机位。

Speaker 1

然后其中啊,12个计算机柜加4个交换机柜,对,然后它这整个16个机柜里面才放了384个这个910C的芯片。

然后其中啊,12个计算机柜加4个交换机柜,对,然后它这整个16个机柜里面才放了384个这个910C的芯片。

Speaker 1

然后它这整个互联就算是SKILL UP。

然后它这整个互联就算是SKILL UP。

Speaker 0

明白诶?

明白诶?

Speaker 0

其实我看过一个比喻啊,我觉得也还蛮形象的,就比如说你要把算力当成这个想载越来越多的乘客从A点到B点。

其实我看过一个比喻啊,我觉得也还蛮形象的,就比如说你要把算力当成这个想载越来越多的乘客从A点到B点。

Speaker 0

那可能你单颗芯片的算力可能算是一个出租车,但是如果你scale up的话,相当于是你把一个出租车换成了一个这个公交车,这样呢你单次这个运送其实就可以送比较多的乘客,但如果你你把这些公交车呃组编成队,其实这个运力也会增加。

那可能你单颗芯片的算力可能算是一个出租车,但是如果你scale up的话,相当于是你把一个出租车换成了一个这个公交车,这样呢你单次这个运送其实就可以送比较多的乘客,但如果你你把这些公交车呃组编成队,其实这个运力也会增加。

Speaker 1

啊啊对这个解释应该也是合理的。

啊啊对这个解释应该也是合理的。

Speaker 0

去年应该是华为第一个推出384超节点嘛,今年就十多个厂商都在搞,你觉得这些厂商他们为什么都要去搞这个超节点啊,这个后面有什么驱动吗?

去年应该是华为第一个推出384超节点嘛,今年就十多个厂商都在搞,你觉得这些厂商他们为什么都要去搞这个超节点啊,这个后面有什么驱动吗?

Speaker 1

呃这个问题我觉得可以从几个方面来回答,第一个就是从国内情况来看。

呃这个问题我觉得可以从几个方面来回答,第一个就是从国内情况来看。

Speaker 1

呃,首先我们跟海外几个厂家在AI芯片的显影技术上是有差距的,而且我们短时间也很难去弥补这个差距。

呃,首先我们跟海外几个厂家在AI芯片的显影技术上是有差距的,而且我们短时间也很难去弥补这个差距。

Speaker 1

对,所以我们要想办法从整个系统层面去提升它的性能。

对,所以我们要想办法从整个系统层面去提升它的性能。

Speaker 1

所以就是就国内厂商来说,它就搞超越点这个方向应该是对的。

所以就是就国内厂商来说,它就搞超越点这个方向应该是对的。

Speaker 1

然后第二个呢,就是说呃,就是我们可以从KMI K3的这个角度去分析,就是因为现在我们大模型的参数。

然后第二个呢,就是说呃,就是我们可以从KMI K3的这个角度去分析,就是因为现在我们大模型的参数。

Speaker 1

都变得很大了,比如像K3吧,它总参数呢应该应该是2.8个T。

都变得很大了,比如像K3吧,它总参数呢应该应该是2.8个T。

Speaker 1

然后它有896个专家,而且它每个TOKEN会选择16个专家。

然后它有896个专家,而且它每个TOKEN会选择16个专家。

Speaker 1

呃,K米官方呢,它是建议使用64颗以上的加速器组成的超越点,这官方建议的它使用64卡能解决什么问题呢?

呃,K米官方呢,它是建议使用64颗以上的加速器组成的超越点,这官方建议的它使用64卡能解决什么问题呢?

Speaker 1

就是可以解决它的容量、带宽、实验的问题。

就是可以解决它的容量、带宽、实验的问题。

Speaker 1

然后其他的原因,比如说呃,即便是海外这些厂商,像NV、像谷歌、像MD……它的单芯片性能提升其实也是有瓶颈的。

然后其他的原因,比如说呃,即便是海外这些厂商,像NV、像谷歌、像MD……它的单芯片性能提升其实也是有瓶颈的。

Speaker 1

然后第二,就是现在的互联技术啊,其实已经可以可以做到超节点产品化的阶段。

然后第二,就是现在的互联技术啊,其实已经可以可以做到超节点产品化的阶段。

Speaker 1

因为我们现在的整个网络互联,不管是带宽还是速率还是延时,它的性能比之前要提升得非常非常多。

因为我们现在的整个网络互联,不管是带宽还是速率还是延时,它的性能比之前要提升得非常非常多。

Speaker 1

然后第三点,我觉得就是可能厂商他出于利益的考虑,他也愿意去推动超节点,因为嗯,他去卖单个芯片。

然后第三点,我觉得就是可能厂商他出于利益的考虑,他也愿意去推动超节点,因为嗯,他去卖单个芯片。

Speaker 1

跟他去卖这个就是一个超一点,对对就是他整个的价值量提升是不一样的。

跟他去卖这个就是一个超一点,对对就是他整个的价值量提升是不一样的。

Speaker 0

嗯对我不知道这个超超节点它的这个产品主要是用来模型的训练呢还是推理的?

嗯对我不知道这个超超节点它的这个产品主要是用来模型的训练呢还是推理的?

Speaker 0

因为我理解好像训练对这个AI芯片的不管是算力啊还是说稳定性要求都比较大,好像推理的话可能就是不是很需要,甚至差一点的卡都可以满足。

因为我理解好像训练对这个AI芯片的不管是算力啊还是说稳定性要求都比较大,好像推理的话可能就是不是很需要,甚至差一点的卡都可以满足。

Speaker 0

所以我不知道这个在超节点的这个需求端,这个训练和推理它有一个什么偏好吗?

所以我不知道这个在超节点的这个需求端,这个训练和推理它有一个什么偏好吗?

Speaker 1

但国内目前有一个就是说法是说我们国产芯片可能更适合推理,对这应该是很多人的一个共识吧。

但国内目前有一个就是说法是说我们国产芯片可能更适合推理,对这应该是很多人的一个共识吧。

Speaker 1

对是的是的,对这个我们现在国产AI芯片可能使用的比较多的场景是做推理,然后啊目前明确使用国产AI芯片训练大模型的其实厂商不多。

对是的是的,对这个我们现在国产AI芯片可能使用的比较多的场景是做推理,然后啊目前明确使用国产AI芯片训练大模型的其实厂商不多。

Speaker 1

就是除了厂家自己有大模型的,还有就是像美团它是啊明确使用华为的芯片去做的训练。

就是除了厂家自己有大模型的,还有就是像美团它是啊明确使用华为的芯片去做的训练。

Speaker 1

呃,然后从咱国内目前的进行使用情况来看的话,就是我们啊确实使使用国产AI芯片做推理比较多,然后加上啊使用八卡机,或者说NV之前的那些这个是消费级的显卡,比如4090、5090。

呃,然后从咱国内目前的进行使用情况来看的话,就是我们啊确实使使用国产AI芯片做推理比较多,然后加上啊使用八卡机,或者说NV之前的那些这个是消费级的显卡,比如4090、5090。

Speaker 1

去做推理也比较多,对。

去做推理也比较多,对。

Speaker 1

然后这个是因为我们国内目前超级点真正被商用的还不是特别特别多啊,但是推理对超级点的需求也是比较高,是因为推理它对延时的要求比较高,所以它对SKILL UP是有很强的需求的。

然后这个是因为我们国内目前超级点真正被商用的还不是特别特别多啊,但是推理对超级点的需求也是比较高,是因为推理它对延时的要求比较高,所以它对SKILL UP是有很强的需求的。

Speaker 1

然后训练呢,它是对整个集群的数量规模。

然后训练呢,它是对整个集群的数量规模。

Speaker 0

是有要求的,所以其实推理对它这个需求的点是你要你一定要快,不能让这个这个用户等得太久。

是有要求的,所以其实推理对它这个需求的点是你要你一定要快,不能让这个这个用户等得太久。

Speaker 0

但是训练对综合算力就是对整个,因为你要提供更多算力,你可能需要更多的芯片能够堆叠起来嘛?

但是训练对综合算力就是对整个,因为你要提供更多算力,你可能需要更多的芯片能够堆叠起来嘛?

Speaker 1

对,是的,这也是为什么就是说就咱上面讲到KIMI的K3,它的官方建议是使用64K以上的加速卡组成的超节点的原因。

对,是的,这也是为什么就是说就咱上面讲到KIMI的K3,它的官方建议是使用64K以上的加速卡组成的超节点的原因。

Speaker 0

嗯,明白。

嗯,明白。

Speaker 0

对,可不可以展开说说这个互联技术这一块儿呀?

对,可不可以展开说说这个互联技术这一块儿呀?

Speaker 0

你像以前,比如说服务器我们如果堆在一起是靠什么互联?

你像以前,比如说服务器我们如果堆在一起是靠什么互联?

Speaker 0

现在是一些什么样的互联技术?

现在是一些什么样的互联技术?

Speaker 0

因为我理解就是超节点它其实主要突破也是在这个芯片互联这一块儿嘛。

因为我理解就是超节点它其实主要突破也是在这个芯片互联这一块儿嘛。

Speaker 1

呃,这一块儿其实我我之前也写过一个文章啊,就是叫割裂的SKILL UP生态。

呃,这一块儿其实我我之前也写过一个文章啊,就是叫割裂的SKILL UP生态。

Speaker 1

就是我们从全球啊,或者说国内这个这一些做超节点的厂家来看,其实他们所使用的SKILL UP协议几乎都是不一样的。

就是我们从全球啊,或者说国内这个这一些做超节点的厂家来看,其实他们所使用的SKILL UP协议几乎都是不一样的。

Speaker 0

就是非常割裂的。

就是非常割裂的。

Speaker 0

你说的协议类似于NV LINK那样的协议是吧?

你说的协议类似于NV LINK那样的协议是吧?

Speaker 1

对对对,是的是的。

对对对,是的是的。

Speaker 1

就是NV,它有自己的协议。

就是NV,它有自己的协议。

Speaker 1

然后呢,咱国内的几家厂商,像华为、像阿里,对,然后这个二线的厂商,比如说这B站、摩尔现场啊、木西他们,其实都有自己的SQL UP协议,也其实都是私有的。

然后呢,咱国内的几家厂商,像华为、像阿里,对,然后这个二线的厂商,比如说这B站、摩尔现场啊、木西他们,其实都有自己的SQL UP协议,也其实都是私有的。

Speaker 1

对,所以我觉得这个是非常割裂的。

对,所以我觉得这个是非常割裂的。

Speaker 1

然后呢,海外前两年的时候就有一个协议叫UV LINK嘛,是海外几个大厂他们一块儿组局去做的。

然后呢,海外前两年的时候就有一个协议叫UV LINK嘛,是海外几个大厂他们一块儿组局去做的。

Speaker 1

这个第一批组局的人,包括AMD、马维尔、ALAB、博通,然后甚至阿里都有参与啊。

这个第一批组局的人,包括AMD、马维尔、ALAB、博通,然后甚至阿里都有参与啊。

Speaker 1

但是目前他的情况是说,AMD是这个协议的主要推动者,因为他的芯片里面会使用这个协议;然后像马维尔和ALAB,他主要是在做呃UV LINK SWITCH,但是他作为一个中间商,或者说他去帮其他的大厂去做服务代工。

但是目前他的情况是说,AMD是这个协议的主要推动者,因为他的芯片里面会使用这个协议;然后像马维尔和ALAB,他主要是在做呃UV LINK SWITCH,但是他作为一个中间商,或者说他去帮其他的大厂去做服务代工。

Speaker 1

就是他其实也没有很大的动力去推这个协议。

就是他其实也没有很大的动力去推这个协议。

Speaker 1

这个比如说年年初的时候,当时NV投资马威尔,那那他投马威尔的其中一个原因就是想让马威尔他在帮其他大厂去做代工的时候可以选择NV的一个非游人。

这个比如说年年初的时候,当时NV投资马威尔,那那他投马威尔的其中一个原因就是想让马威尔他在帮其他大厂去做代工的时候可以选择NV的一个非游人。

Speaker 1

然后从目前来看,亚马逊的吹链这个芯片有一些芯片是是明确使用了NV的一个非游人的对。

然后从目前来看,亚马逊的吹链这个芯片有一些芯片是是明确使用了NV的一个非游人的对。

Speaker 1

然后啊,像博通呢,他虽然是第一批参与者。

然后啊,像博通呢,他虽然是第一批参与者。

Speaker 1

但是呢,博通他觉得自己比较牛。

但是呢,博通他觉得自己比较牛。

Speaker 1

然后他跟谷歌啊,以及跟这个其他大厂之间的合作,那他觉得自己的这个芯片的量是很大的,然后自己本身在网络领域或者说这个方向是有很强的技术能力的。

然后他跟谷歌啊,以及跟这个其他大厂之间的合作,那他觉得自己的这个芯片的量是很大的,然后自己本身在网络领域或者说这个方向是有很强的技术能力的。

Speaker 1

那后来他就没有再参与这个协议了,他去搞了自己的协议。

那后来他就没有再参与这个协议了,他去搞了自己的协议。

Speaker 1

对,所以现在这个协议还是非常的割裂,就是目前主要推动者就一家MD。

对,所以现在这个协议还是非常的割裂,就是目前主要推动者就一家MD。

Speaker 1

然后咱国内情况的话我觉得其实我们像华为它的这一块其实是有优势的就是我个人觉得它可能比NV的优势会更大一些因为它的UB它的目的就是为了补充。

然后咱国内情况的话我觉得其实我们像华为它的这一块其实是有优势的就是我个人觉得它可能比NV的优势会更大一些因为它的UB它的目的就是为了补充。

Speaker 0

一下就是华为他们这个协议的名字就叫UNIFIED BUS简称就是UB应该是直接跟U这个UV LINK进行。

一下就是华为他们这个协议的名字就叫UNIFIED BUS简称就是UB应该是直接跟U这个UV LINK进行。

Speaker 1

对标的它这个协议的优势是在于。

对标的它这个协议的优势是在于。

Speaker 1

它可以把所有芯片的互联都使用这个协议,对。

它可以把所有芯片的互联都使用这个协议,对。

Speaker 1

所以它这个名字叫的也很霸气,它的SKILL UP、SKILL OUT都可以使用这个协议。

所以它这个名字叫的也很霸气,它的SKILL UP、SKILL OUT都可以使用这个协议。

Speaker 1

但是NV就不一样,NV它的SKILL UP、NV LINK它的OUT使用的IB是不一样的。

但是NV就不一样,NV它的SKILL UP、NV LINK它的OUT使用的IB是不一样的。

Speaker 1

嗯,那对,然后NV它使用不一样,其实从技术层面是是能兼容的,只不过是NV它是两个TEAM来。

嗯,那对,然后NV它使用不一样,其实从技术层面是是能兼容的,只不过是NV它是两个TEAM来。

Speaker 1

来做这个事情,对。

来做这个事情,对。

Speaker 1

所以就是咱现在看到的很多的这个结果,它其实都有很多底层原因的。

所以就是咱现在看到的很多的这个结果,它其实都有很多底层原因的。

Speaker 1

这个原因可能是技术原因,也有可能是他公司内部的一些组织架构的原因。

这个原因可能是技术原因,也有可能是他公司内部的一些组织架构的原因。

Speaker 1

嗯,对。

嗯,对。

Speaker 1

然后华为那边他会把自研的SSD接入到他这个就差异点里面,那他接入这个协议也是使用UB。

然后华为那边他会把自研的SSD接入到他这个就差异点里面,那他接入这个协议也是使用UB。

Speaker 1

嗯,那就是说他的UB可以连NPU,可以连自己的CPU。

嗯,那就是说他的UB可以连NPU,可以连自己的CPU。

Speaker 1

可以连自己的NAND,对,就是所有华为自己研发的这个芯片都可以连接。

可以连自己的NAND,对,就是所有华为自己研发的这个芯片都可以连接。

Speaker 1

对,所以我觉得这是华为一个很大的优势哦。

对,所以我觉得这是华为一个很大的优势哦。

Speaker 0

就是华为内部是统一的。

就是华为内部是统一的。

Speaker 0

但是你像像英伟达他们可能SCALE UP用的是NV LINK,然后SCALE UP用的是INFINITY BAND,就是IB,然后其实它的内部还其还还没有华为这么统一。

但是你像像英伟达他们可能SCALE UP用的是NV LINK,然后SCALE UP用的是INFINITY BAND,就是IB,然后其实它的内部还其还还没有华为这么统一。

Speaker 0

对对对,是的,明白。

对对对,是的,明白。

Speaker 0

所以不同的协议,比如说跟上一代刚才你也说的像PCIE什么的,它其实是更快。

所以不同的协议,比如说跟上一代刚才你也说的像PCIE什么的,它其实是更快。

Speaker 1

对不对?

对不对?

Speaker 1

对,呃,像NV或华为就是他们这个协议,就是相对于目前被大众所使用的标准协议。

对,呃,像NV或华为就是他们这个协议,就是相对于目前被大众所使用的标准协议。

Speaker 1

两个显著特点就是说它的带宽速率的提升是非常明显的。

两个显著特点就是说它的带宽速率的提升是非常明显的。

Speaker 1

比如说 nvlink 和这个 pcie,同代的 nvlink 和这个 pcie 比去比较的话,那它带宽可能是 pcie 的好几倍,是非常快的。

比如说 nvlink 和这个 pcie,同代的 nvlink 和这个 pcie 比去比较的话,那它带宽可能是 pcie 的好几倍,是非常快的。

Speaker 1

因为因为它自己的协议,那它自己去改一些 feature 或者说加一些什么特性都是很简单的。

因为因为它自己的协议,那它自己去改一些 feature 或者说加一些什么特性都是很简单的。

Speaker 1

但是就是你要是基于一个公开协议去做的话,那这个公开协议的提升是非常慢的,因为他要考虑很多兼容性问题。

但是就是你要是基于一个公开协议去做的话,那这个公开协议的提升是非常慢的,因为他要考虑很多兼容性问题。

Speaker 0

他是自己的协议完,可以完全适配自己的硬件和软件。

他是自己的协议完,可以完全适配自己的硬件和软件。

Speaker 1

对对对是的是的。

对对对是的是的。

Speaker 0

我们平常还会听到一个叫NV SWITCH,NV SWITCH它是一个交换芯片是吗?

我们平常还会听到一个叫NV SWITCH,NV SWITCH它是一个交换芯片是吗?

Speaker 1

啊对就是我们所说的NV LINK、UB、IB这些都是协议,它这个协议是直接连到芯片的,然后这个芯片呢那它要跟很多其他芯片去做传输嘛,呃所以就是它要先经过一个交换芯片。

啊对就是我们所说的NV LINK、UB、IB这些都是协议,它这个协议是直接连到芯片的,然后这个芯片呢那它要跟很多其他芯片去做传输嘛,呃所以就是它要先经过一个交换芯片。

Speaker 1

然后再去连接到其他的芯片,或者说其他节点啊。

然后再去连接到其他的芯片,或者说其他节点啊。

Speaker 0

所以所以NV SWITCH就是它的交换芯片,对对对,是的。

所以所以NV SWITCH就是它的交换芯片,对对对,是的。

Speaker 0

其实我还有个好奇啊,就是我们怎么衡量一个超节点它的这个表现啊?

其实我还有个好奇啊,就是我们怎么衡量一个超节点它的这个表现啊?

Speaker 1

呃,就是如果说从硬件层面上来看,其实是我们衡量的标准,其实就那一些,就是包括整体的算力、包括显存带宽、显存容量、包括网络传输的这个带宽。

呃,就是如果说从硬件层面上来看,其实是我们衡量的标准,其实就那一些,就是包括整体的算力、包括显存带宽、显存容量、包括网络传输的这个带宽。

Speaker 1

然后以及它整个,就整个超节点的功耗,对,就这些东西,基本上。

然后以及它整个,就整个超节点的功耗,对,就这些东西,基本上。

Speaker 0

节目的中间也想和你分享,像这样的科技领域话题,在我们的青少年节目《KNOCK KNOCK世界》中也有设计。

节目的中间也想和你分享,像这样的科技领域话题,在我们的青少年节目《KNOCK KNOCK世界》中也有设计。

Speaker 0

比如之前我们做过一期节目,讲的是人形机器人它到底发展到了什么程度,能够实现哪些功能?

比如之前我们做过一期节目,讲的是人形机器人它到底发展到了什么程度,能够实现哪些功能?

Speaker 0

人形机器人真的能走进日常生活了吗?

人形机器人真的能走进日常生活了吗?

Speaker 0

节目用孩子感兴趣的角度,以及他们能听懂的语言进行解读。

节目用孩子感兴趣的角度,以及他们能听懂的语言进行解读。

Speaker 0

想要了解更多信息,可以打开单集简介,收听播客 knock knock 世界。

想要了解更多信息,可以打开单集简介,收听播客 knock knock 世界。

Speaker 0

就刚才我们可能就大概聊了聊这个超点点是什么,以及的这个大家这个疯狂冲超节点背后的一些动机啊。

就刚才我们可能就大概聊了聊这个超点点是什么,以及的这个大家这个疯狂冲超节点背后的一些动机啊。

Speaker 0

我觉得下面我们可以请海军来帮我们大概举例吧,就是看看哪些比较我们现在知名的超级电影产品大概都有些什么样的特点。

我觉得下面我们可以请海军来帮我们大概举例吧,就是看看哪些比较我们现在知名的超级电影产品大概都有些什么样的特点。

Speaker 0

那我觉得其实不得不说的就是超点的标杆嘛,就是NV72。

那我觉得其实不得不说的就是超点的标杆嘛,就是NV72。

Speaker 1

对,我自己做了一个NV LINK72机架的图,这个图可以放在生NOTES里。

对,我自己做了一个NV LINK72机架的图,这个图可以放在生NOTES里。

Speaker 1

它这个机架是由18个EU的计算托盘,然后再加上9个NV SWITCH托盘组成的。

它这个机架是由18个EU的计算托盘,然后再加上9个NV SWITCH托盘组成的。

Speaker 1

然后它整个机架啊,是使用了这个72个B200芯片。

然后它整个机架啊,是使用了这个72个B200芯片。

Speaker 1

整个机架的功耗是超过120千瓦的,对?

整个机架的功耗是超过120千瓦的,对?

Speaker 1

所以就是就是这种套节点,它的功耗是非常大的。

所以就是就是这种套节点,它的功耗是非常大的。

Speaker 1

然后因为它里面又放了几十甚至上百颗芯片,所以它的散热是个问题。

然后因为它里面又放了几十甚至上百颗芯片,所以它的散热是个问题。

Speaker 1

对,然后这里呢,我们再说一个TIPS,就是英伟达它自己展示出来的GB200。

对,然后这里呢,我们再说一个TIPS,就是英伟达它自己展示出来的GB200。

Speaker 1

都是使用冷板就是是全液冷方案但是其实它真实出库的GB200它起码前面出库的很多都是风冷的到了后面才使用的液冷只不过是NV它就NV它自己官网展示的都是使用冷板的所以就是大家都误以为他们的GB200全是液冷但其实并不是对所以这也是就是那些液冷厂商他们的业绩可能并没有大家想象中爆发的那么早那么那么快的原因。

都是使用冷板就是是全液冷方案但是其实它真实出库的GB200它起码前面出库的很多都是风冷的到了后面才使用的液冷只不过是NV它就NV它自己官网展示的都是使用冷板的所以就是大家都误以为他们的GB200全是液冷但其实并不是对所以这也是就是那些液冷厂商他们的业绩可能并没有大家想象中爆发的那么早那么那么快的原因。

Speaker 0

我以为是风冷是没有办法这个整合到这个超节点的这个机柜里头的呢。

我以为是风冷是没有办法这个整合到这个超节点的这个机柜里头的呢。

Speaker 0

唉对对是的行啊那我们就是刚才大概说了一下NV的这个方案然后我就下面可以再说一下国产有没有一些比较有代表性的超节点的厂商你觉得值得说一说的。

唉对对是的行啊那我们就是刚才大概说了一下NV的这个方案然后我就下面可以再说一下国产有没有一些比较有代表性的超节点的厂商你觉得值得说一说的。

Speaker 1

呃国产的话我觉得就是我们这个首先要说的肯定是华为第一个CM384因为它作为国内第一个超节点然后当时也是引起了非常大的轰动包括海外的很多分析机构也专门拿CM384去对比。

呃国产的话我觉得就是我们这个首先要说的肯定是华为第一个CM384因为它作为国内第一个超节点然后当时也是引起了非常大的轰动包括海外的很多分析机构也专门拿CM384去对比。

Speaker 1

NV的第一个超业点,对。

NV的第一个超业点,对。

Speaker 1

然后就是我们从单个芯片角度来看,9104A它的BF16的算力啊,大概是NVB200的30%。

然后就是我们从单个芯片角度来看,9104A它的BF16的算力啊,大概是NVB200的30%。

Speaker 1

但是我们从整个超业点来看,CM384它的总算力是英伟达GB200NV072的一点七倍。

但是我们从整个超业点来看,CM384它的总算力是英伟达GB200NV072的一点七倍。

Speaker 1

对,所以这也是为什么我们要做做超业点的原因。

对,所以这也是为什么我们要做做超业点的原因。

Speaker 0

单片算力。

单片算力。

Speaker 0

只可能只有它的多少1/30,但是合在一起或总是超点点以后,其实总算力是它大概两倍。

只可能只有它的多少1/30,但是合在一起或总是超点点以后,其实总算力是它大概两倍。

Speaker 1

是的,对,就是咱没法在单个芯片上去超越它,但是我们可以通过整个机群性能去超越它。

是的,对,就是咱没法在单个芯片上去超越它,但是我们可以通过整个机群性能去超越它。

Speaker 1

但这样的话也有几个问题,就是最大的一个问题就是说我们的功耗是要远超NV的,或者说我们的单卡功耗或单机面功耗是要远超NV的。

但这样的话也有几个问题,就是最大的一个问题就是说我们的功耗是要远超NV的,或者说我们的单卡功耗或单机面功耗是要远超NV的。

Speaker 1

对,这是合理,但是我们也没办法,就是只能说我们现在选的这个路是的方向是对的。

对,这是合理,但是我们也没办法,就是只能说我们现在选的这个路是的方向是对的。

Speaker 0

我看一下功耗啊,功耗这个华为的384大概功耗是560。

我看一下功耗啊,功耗这个华为的384大概功耗是560。

Speaker 0

对比刚才NV是120的话,大概多了有四倍还不止。

对比刚才NV是120的话,大概多了有四倍还不止。

Speaker 1

将近五倍。

将近五倍。

Speaker 1

那个然后第二个跟NV那个比较大的区别就是在于是NV它的单个机柜内的互联是以同揽为主,就是以DEC或或者AC这种同揽为主。

那个然后第二个跟NV那个比较大的区别就是在于是NV它的单个机柜内的互联是以同揽为主,就是以DEC或或者AC这种同揽为主。

Speaker 1

华为呢它因为它是有16个机柜嘛,所以它凡是跨机柜的互联都是走的光。

华为呢它因为它是有16个机柜嘛,所以它凡是跨机柜的互联都是走的光。

Speaker 1

所以当时华为刚出来的时候。

所以当时华为刚出来的时候。

Speaker 1

它对外宣称也是说全光互联,但是我们要理解什么叫全光互联啊。

它对外宣称也是说全光互联,但是我们要理解什么叫全光互联啊。

Speaker 1

就华为它走的是呃两层的UB协议,就是它整个互联是经过了两层UB SWITCH。

就华为它走的是呃两层的UB协议,就是它整个互联是经过了两层UB SWITCH。

Speaker 1

那它第一层啊,它自己的NPU、CPU跟第一层UB SWITCH的互联,那这一层走的是纯电电互联。

那它第一层啊,它自己的NPU、CPU跟第一层UB SWITCH的互联,那这一层走的是纯电电互联。

Speaker 1

它所谓的全光互联是指第一层UB SWITCH和第2层UB SWITCH这个互联。

它所谓的全光互联是指第一层UB SWITCH和第2层UB SWITCH这个互联。

Speaker 0

是走的光海军,可不可以给我们解释一下这个铜互联和光互联?

是走的光海军,可不可以给我们解释一下这个铜互联和光互联?

Speaker 0

什么情况下用铜,什么时候情况下用光,以及它们各自的优劣势是什么呀?

什么情况下用铜,什么时候情况下用光,以及它们各自的优劣势是什么呀?

Speaker 1

就是光它的优势在于它可以远距离传输,比如说我们需要跨机柜的,那它这个距离传输就比较远。

就是光它的优势在于它可以远距离传输,比如说我们需要跨机柜的,那它这个距离传输就比较远。

Speaker 1

那这个时候大家选的都是光,然后在机柜内部使用铜连接的效率会更会更高一些,因为同有几个优势,第一个是。

那这个时候大家选的都是光,然后在机柜内部使用铜连接的效率会更会更高一些,因为同有几个优势,第一个是。

Speaker 1

它不用做光转电、电转光的这种转换,那它的这个延时会更小,那它的功耗会更低。

它不用做光转电、电转光的这种转换,那它的这个延时会更小,那它的功耗会更低。

Speaker 1

然后还有就是它的价钱会更便宜。

然后还有就是它的价钱会更便宜。

Speaker 1

嗯,对,但是它的劣势就在于它只适合短距离传输啊。

嗯,对,但是它的劣势就在于它只适合短距离传输啊。

Speaker 0

所以所以说华为把全光互联作为它的一个噱头,是不是也是说它虽然机会很大,但是我可以很快延时可以很低?

所以所以说华为把全光互联作为它的一个噱头,是不是也是说它虽然机会很大,但是我可以很快延时可以很低?

Speaker 1

呃,走光的话其实它的延时是相对要大的,因为它要先电转光,再光转电,就是整个转换过程都是。

呃,走光的话其实它的延时是相对要大的,因为它要先电转光,再光转电,就是整个转换过程都是。

Speaker 1

都是有延时的,对所以它的延时其实是要大一些,但是因为它是跨机柜的,因为它它需要连更多的NPU,它要跨机柜它也只能选择走光。

都是有延时的,对所以它的延时其实是要大一些,但是因为它是跨机柜的,因为它它需要连更多的NPU,它要跨机柜它也只能选择走光。

Speaker 0

嗯所以就是在算力和延时之间,对于多的芯片其实算力能达到一个更高的峰值。

嗯所以就是在算力和延时之间,对于多的芯片其实算力能达到一个更高的峰值。

Speaker 1

对是的,就是我们我们要在几个参数之间做一个折中,包括算力,包括延时,包括功耗,对包括成本这些做个折中的选择。

对是的,就是我们我们要在几个参数之间做一个折中,包括算力,包括延时,包括功耗,对包括成本这些做个折中的选择。

Speaker 0

其实你说到这个这个华为它的功耗不是刚才说比NV的要高4倍嘛,其实也主要原因也是可能。

其实你说到这个这个华为它的功耗不是刚才说比NV的要高4倍嘛,其实也主要原因也是可能。

Speaker 0

国内厂商不在不太那么在乎功耗啊,中国的电不是个问题。

国内厂商不在不太那么在乎功耗啊,中国的电不是个问题。

Speaker 0

然后但是在美国的话,你这个功耗是一个大家非常这个重要的一个考量,你不能因为美国这个电力非常受限。

然后但是在美国的话,你这个功耗是一个大家非常这个重要的一个考量,你不能因为美国这个电力非常受限。

Speaker 1

对这也是一个问题。

对这也是一个问题。

Speaker 1

但是其实就国内这些呃云厂商或者说那些做三D租赁的厂商来说,电的成本是非常大的一个成本,对。

但是其实就国内这些呃云厂商或者说那些做三D租赁的厂商来说,电的成本是非常大的一个成本,对。

Speaker 1

所以他们他们才会选择比如说把这个服务器放到像山西啊,包括。

所以他们他们才会选择比如说把这个服务器放到像山西啊,包括。

Speaker 1

包括蒙古,包括什么?

包括蒙古,包括什么?

Speaker 1

就是他们会选择把这些服务器放在这些定价更便宜的地方。

就是他们会选择把这些服务器放在这些定价更便宜的地方。

Speaker 1

也是因为他们也是想定价便宜一些,这样的话他们成本会更低一些。

也是因为他们也是想定价便宜一些,这样的话他们成本会更低一些。

Speaker 1

对,然后就下面我觉得说一下这个中兴吧,就是呃,中兴和华三是我这次参展就是比较出乎预料的两家厂商,因为在我传统的理解上面来讲。

对,然后就下面我觉得说一下这个中兴吧,就是呃,中兴和华三是我这次参展就是比较出乎预料的两家厂商,因为在我传统的理解上面来讲。

Speaker 1

他们算是一个,就是AR芯片厂商的OEM厂。

他们算是一个,就是AR芯片厂商的OEM厂。

Speaker 1

他们是给那些芯片厂商去做服务器的,对?

他们是给那些芯片厂商去做服务器的,对?

Speaker 1

就是跟这个浪潮、包括这个红海一样,帮NV去做服务器。

就是跟这个浪潮、包括这个红海一样,帮NV去做服务器。

Speaker 0

他们自己不产芯片,其实是负责组装。

他们自己不产芯片,其实是负责组装。

Speaker 1

主要是对。

主要是对。

Speaker 1

是的,他们主要负责组装。

是的,他们主要负责组装。

Speaker 1

但是这一次也看到他们超一点的方案了,然后中兴呢。

但是这一次也看到他们超一点的方案了,然后中兴呢。

Speaker 1

就是它的整个超链接里面,它其实是有自己的芯片的,它是做交换的。

就是它的整个超链接里面,它其实是有自己的芯片的,它是做交换的。

Speaker 1

对,因为中兴啊它本身在网络这一块也是有它自己的技术实力的,它在它的超节点里面,它会去就是它除了做整个服务器之外,它还做交换芯片,它那个协议叫Olink。

对,因为中兴啊它本身在网络这一块也是有它自己的技术实力的,它在它的超节点里面,它会去就是它除了做整个服务器之外,它还做交换芯片,它那个协议叫Olink。

Speaker 1

对,然后啊就按照中兴官方公布的这个信息来看的话,它的交换芯片是能够兼容国内多家厂商的,呃它没有公布更具体的细节,就是所以我猜测可能是它芯片里面就有几个协议的这个兼容。

对,然后啊就按照中兴官方公布的这个信息来看的话,它的交换芯片是能够兼容国内多家厂商的,呃它没有公布更具体的细节,就是所以我猜测可能是它芯片里面就有几个协议的这个兼容。

Speaker 1

或者就是说,它的交换的吹是可以更换的。

或者就是说,它的交换的吹是可以更换的。

Speaker 1

比如说我我用避震的话呢,我就就使用能够兼容避震的交换的这个吹。

比如说我我用避震的话呢,我就就使用能够兼容避震的交换的这个吹。

Speaker 0

所以中心他们也是有自己的长板呢,才敢才敢来做超级点,在没有自己没有芯片的情况下。

所以中心他们也是有自己的长板呢,才敢才敢来做超级点,在没有自己没有芯片的情况下。

Speaker 0

诶,我我这次做做的时候,我发现西智科技他们自己也做了一个超级点,然后他们是因为他们的长上是做光光互联,然后光计算嘛。

诶,我我这次做做的时候,我发现西智科技他们自己也做了一个超级点,然后他们是因为他们的长上是做光光互联,然后光计算嘛。

Speaker 0

所以你有你有没有关注一下他们的这个超节点?

所以你有你有没有关注一下他们的这个超节点?

Speaker 1

哦啊就是那天上午我就是去参加了西智可以的这个啥宣讲会啊西智他们是做光芯片起家的嘛就是就是做光互联。

哦啊就是那天上午我就是去参加了西智可以的这个啥宣讲会啊西智他们是做光芯片起家的嘛就是就是做光互联。

Speaker 0

光计算对他们也是刚最近刚刚IPO.

光计算对他们也是刚最近刚刚IPO.

Speaker 1

对对对是但是呃对但是光芯片这个东西呢就是它是一个比较远期的东西反正近期来看或者说中短期来看的话是很难有一个啊量产的一个产品的所以他们后来就他们现在主要营收的方向还是光。

对对对是但是呃对但是光芯片这个东西呢就是它是一个比较远期的东西反正近期来看或者说中短期来看的话是很难有一个啊量产的一个产品的所以他们后来就他们现在主要营收的方向还是光。

Speaker 1

光通信和光交换。

光通信和光交换。

Speaker 0

哎。

哎。

Speaker 0

所以他们是就是服务其他的超级电厂商嘛?

所以他们是就是服务其他的超级电厂商嘛?

Speaker 0

如果他们是可以提供这种就是光通信和光交换的服务的话。

如果他们是可以提供这种就是光通信和光交换的服务的话。

Speaker 1

对,是的。

对,是的。

Speaker 1

他们在超级电里面的定位也只是在做光通信和光交换这两个板块,他们不做其他东西哦。

他们在超级电里面的定位也只是在做光通信和光交换这两个板块,他们不做其他东西哦。

Speaker 0

明白嗯?

明白嗯?

Speaker 0

所以他们就是发挥自己的特长。

所以他们就是发挥自己的特长。

Speaker 1

对,是的。

对,是的。

Speaker 1

就是咱这次看到这么多厂商都展示自己的这个超级电产品。

就是咱这次看到这么多厂商都展示自己的这个超级电产品。

Speaker 1

但是其实目前真正的已经量产使用的超一点,其实目前国内就只有两家,一个是华为,一个是曙光。

但是其实目前真正的已经量产使用的超一点,其实目前国内就只有两家,一个是华为,一个是曙光。

Speaker 1

对,就只有他们两家已经大规模就是部署以及跑起来了。

对,就只有他们两家已经大规模就是部署以及跑起来了。

Speaker 0

嗯,他们客户都是谁啊?

嗯,他们客户都是谁啊?

Speaker 1

呃,华为的话,客户比较分散,就是有运营商、有这些云厂商啊;然后曙光的话,它主要就是。

呃,华为的话,客户比较分散,就是有运营商、有这些云厂商啊;然后曙光的话,它主要就是。

Speaker 1

这个信创对因为曙光跟海光它俩强绑定的嘛,曙光做的超一点它里面使用的芯片也都是海光的嘛,就是使用海光CPU加海光DCU。

这个信创对因为曙光跟海光它俩强绑定的嘛,曙光做的超一点它里面使用的芯片也都是海光的嘛,就是使用海光CPU加海光DCU。

Speaker 0

对这个曙光他们这个AI芯片叫DCU啊,这个挺有特点的啊。

对这个曙光他们这个AI芯片叫DCU啊,这个挺有特点的啊。

Speaker 1

对这个是海光的AI芯片。

对这个是海光的AI芯片。

Speaker 0

其实我有看到说DEEPSEEK V4 PRO他们的这个呃后训练好像是用华为的超节点来做的。

其实我有看到说DEEPSEEK V4 PRO他们的这个呃后训练好像是用华为的超节点来做的。

Speaker 1

就这个只能等他们官方的公布,比如说他们啥时候能。

就这个只能等他们官方的公布,比如说他们啥时候能。

Speaker 1

能够使用国产的芯片做一些什么其他任务?

能够使用国产的芯片做一些什么其他任务?

Speaker 1

对,这个要等他们官方公布。

对,这个要等他们官方公布。

Speaker 1

然后这里我们我们再提一点,就是因为我们国内大模型厂商都是一些开源的吧,对。

然后这里我们我们再提一点,就是因为我们国内大模型厂商都是一些开源的吧,对。

Speaker 1

所以就是大家可以看到很多一线的模型厂商开源之后,国内的AI芯片厂商就会宣布适配、对零适配、对对零适配。

所以就是大家可以看到很多一线的模型厂商开源之后,国内的AI芯片厂商就会宣布适配、对零适配、对对零适配。

Speaker 1

但是很多朋友其实对这个对零适配其实是他理解是有分歧的,对他这个这个适配呢其实。

但是很多朋友其实对这个对零适配其实是他理解是有分歧的,对他这个这个适配呢其实。

Speaker 1

没有一个标准的这个定义,说是就是他怎么着算是适配。

没有一个标准的这个定义,说是就是他怎么着算是适配。

Speaker 1

就是他可能是把几个核心算子跑通了,然后也有可能是他把整个完整的模型都可以去做推理了。

就是他可能是把几个核心算子跑通了,然后也有可能是他把整个完整的模型都可以去做推理了。

Speaker 1

对,然后有的是呢,他可以单卡支持;对,然后也有的是他的整个集群或者超一点都可以支持。

对,然后有的是呢,他可以单卡支持;对,然后也有的是他的整个集群或者超一点都可以支持。

Speaker 1

那他这几个适配的概念是完全不一样的。

那他这几个适配的概念是完全不一样的。

Speaker 1

所以就是从AI芯片厂商他宣布D0适配到大模型能够在它的芯片上做大规模的商用,其实还有很长的路。

所以就是从AI芯片厂商他宣布D0适配到大模型能够在它的芯片上做大规模的商用,其实还有很长的路。

Speaker 1

对这其中就包括比如说我们要先把它跑通然后第二就是要保证它跑的这个是对的就是保证模型出的准确率率精度什么的是可以的然后第三就是怎么着能够让这个模型在我们自己的ai芯面上跑得更快因为它大规模商用跑起来之后就大家肯定要考虑成本的所以就是怎么着能够更高效的去跑你的模型这也是个问题所以就是从对零适配到它大规模商用其实中间还有很长的路。

对这其中就包括比如说我们要先把它跑通然后第二就是要保证它跑的这个是对的就是保证模型出的准确率率精度什么的是可以的然后第三就是怎么着能够让这个模型在我们自己的ai芯面上跑得更快因为它大规模商用跑起来之后就大家肯定要考虑成本的所以就是怎么着能够更高效的去跑你的模型这也是个问题所以就是从对零适配到它大规模商用其实中间还有很长的路。

Speaker 0

所以也不是说这个任何一个厂商就是超节点我只要算力或者延时能达到这个表现优秀就拉过去马上就能用的。

所以也不是说这个任何一个厂商就是超节点我只要算力或者延时能达到这个表现优秀就拉过去马上就能用的。

Speaker 1

对是的是的对所以就是这也是。

对是的是的对所以就是这也是。

Speaker 1

就这些厂商它的一个营销方式吧。

就这些厂商它的一个营销方式吧。

Speaker 0

对,哎那你觉得国产现在这些超节点,呃现在做起来以后能。

对,哎那你觉得国产现在这些超节点,呃现在做起来以后能。

Speaker 1

以后能超过英伟达吗?

以后能超过英伟达吗?

Speaker 1

呃我觉得这是一个很好的问题啊,就是关于超过NV。

呃我觉得这是一个很好的问题啊,就是关于超过NV。

Speaker 1

呃首先我觉得就是呃确实我们单芯片层面目前来看短时间是很难超过NV的,对,这个所以我们想办法从整个系统层面去弥补这个差距嘛,对所以我们这个方向。

呃首先我觉得就是呃确实我们单芯片层面目前来看短时间是很难超过NV的,对,这个所以我们想办法从整个系统层面去弥补这个差距嘛,对所以我们这个方向。

Speaker 1

就是选择这个方向去找NV是合理的啊。

就是选择这个方向去找NV是合理的啊。

Speaker 1

然后第二,就是从咱刚刚讲的CM384的这个性能来看的话,从整个系统的表现来看,不管是算力还是显存带宽,还是还有什么其他参数,它其实是要超过NV0和72的。

然后第二,就是从咱刚刚讲的CM384的这个性能来看的话,从整个系统的表现来看,不管是算力还是显存带宽,还是还有什么其他参数,它其实是要超过NV0和72的。

Speaker 0

嗯,对,那你刚才意思是说,现在如果系统层已经超过NV的话,其实这是这个问题是不是就其实不成立了?

嗯,对,那你刚才意思是说,现在如果系统层已经超过NV的话,其实这是这个问题是不是就其实不成立了?

Speaker 0

还是有一定的这个门槛。

还是有一定的这个门槛。

Speaker 1

这个问题就是我觉得是,即便我们从系系统这个层面上看参数是比 nv 要强,但是也不能直接定义成超过 nv 了。

这个问题就是我觉得是,即便我们从系系统这个层面上看参数是比 nv 要强,但是也不能直接定义成超过 nv 了。

Speaker 1

是因为我们堆的芯片更多,堆的硬件更多,堆的料更多。

是因为我们堆的芯片更多,堆的硬件更多,堆的料更多。

展开剩余字幕(还有 125 条)
Speaker 1

所以是我们只是从堆料层面上比 nv 要强。

所以是我们只是从堆料层面上比 nv 要强。

Speaker 1

但是比如说要超 nv,那就是怎么定义是他超 nv?

但是比如说要超 nv,那就是怎么定义是他超 nv?

Speaker 1

我个人的定义是说,如果说 nv 市场放开了,然后在 nv 的超一点和那国内超一点,让这些云厂商自己去选,那他宁愿去选择国产国产超一点。

我个人的定义是说,如果说 nv 市场放开了,然后在 nv 的超一点和那国内超一点,让这些云厂商自己去选,那他宁愿去选择国产国产超一点。

Speaker 1

嗯,那这个时候,那我觉得就超过了。

嗯,那这个时候,那我觉得就超过了。

Speaker 1

对,但是现在来看的话,还是很难。

对,但是现在来看的话,还是很难。

Speaker 0

啊,那大家选择 nv 的原原因是什么呢?

啊,那大家选择 nv 的原原因是什么呢?

Speaker 1

我觉得几个问题吧,第一个就是它的扩大确实是有优势的。

我觉得几个问题吧,第一个就是它的扩大确实是有优势的。

Speaker 1

啊,国内这些工程师,他基本上都是使用库大出身的,对,所以他对库大比较了解。

啊,国内这些工程师,他基本上都是使用库大出身的,对,所以他对库大比较了解。

Speaker 1

然后然后像 ds 的话,他们在研发过程中他们还发现了一些,就是英伟达芯片的问题,这些问题甚至连 nv 自己都没发现。

然后然后像 ds 的话,他们在研发过程中他们还发现了一些,就是英伟达芯片的问题,这些问题甚至连 nv 自己都没发现。

Speaker 1

所以从这个层面来讲,ds 的人,他对库达包括对 nv 的硬件的研究是非常非常深的,那从这个角度来讲,那让他们再切换到国产的软件或国产的硬件来讲,那他们还要再投很大的精力去研究这些东西。

所以从这个层面来讲,ds 的人,他对库达包括对 nv 的硬件的研究是非常非常深的,那从这个角度来讲,那让他们再切换到国产的软件或国产的硬件来讲,那他们还要再投很大的精力去研究这些东西。

Speaker 1

对,其实就我觉得他们也不是那么心甘情愿愿意去做这个事情。

对,其实就我觉得他们也不是那么心甘情愿愿意去做这个事情。

Speaker 1

然后第二就是NV,它的产品现在稳定性确实要好一些。

然后第二就是NV,它的产品现在稳定性确实要好一些。

Speaker 1

就是嗯,从我之前做芯片的经验来讲,就是我们做一个产品出来之后,那它能用到它能够稳定使用,其实完全不一样。

就是嗯,从我之前做芯片的经验来讲,就是我们做一个产品出来之后,那它能用到它能够稳定使用,其实完全不一样。

Speaker 1

对,然后NV我觉得现在因为它很多产品都在DELAY嘛,包括就是就是咱刚刚讲的它这下一代入边ULTRA的DELAY。

对,然后NV我觉得现在因为它很多产品都在DELAY嘛,包括就是就是咱刚刚讲的它这下一代入边ULTRA的DELAY。

Speaker 1

那我觉得我们国产的超一点,如果说它的研发进度都是。

那我觉得我们国产的超一点,如果说它的研发进度都是。

Speaker 1

很符合预期的。

很符合预期的。

Speaker 1

那我觉得这个也是我们的机会,然后第二就是呃,我们国产的AI芯片或者说呃服务器啊,其实经历了这几年的发展,它的软件也是更加的适用了,就是比前几年使用起来会更加的顺手。

那我觉得这个也是我们的机会,然后第二就是呃,我们国产的AI芯片或者说呃服务器啊,其实经历了这几年的发展,它的软件也是更加的适用了,就是比前几年使用起来会更加的顺手。

Speaker 1

第二就是它的BUG。

第二就是它的BUG。

Speaker 1

也更少了,对。

也更少了,对。

Speaker 1

所以我觉得我们现在跟NV的差距是在缩小,呃,所以从我个人的感觉上来讲,我们超NV是有可能的,因为我们的特点是说我们可能从零到一可能会比美国那边要要弱一些,但是我们从1到100我觉得肯定是要强于美国那边的,嗯。

所以我觉得我们现在跟NV的差距是在缩小,呃,所以从我个人的感觉上来讲,我们超NV是有可能的,因为我们的特点是说我们可能从零到一可能会比美国那边要要弱一些,但是我们从1到100我觉得肯定是要强于美国那边的,嗯。

Speaker 0

哎而且你刚才说的这个点我觉得你说的呃就是包括DS工程师续模型的过程中会发现芯片的一篇BUG一些BUG其实这些东西啊就是你用的人越多它迭代的就越快不管是软件还是硬件啊所以我觉得国产的厂商可能现在是起步阶段但是你随着人用的人越来越多它迭代越来越快那就是不管是硬件还是软件生态其实又越来越成熟。

哎而且你刚才说的这个点我觉得你说的呃就是包括DS工程师续模型的过程中会发现芯片的一篇BUG一些BUG其实这些东西啊就是你用的人越多它迭代的就越快不管是软件还是硬件啊所以我觉得国产的厂商可能现在是起步阶段但是你随着人用的人越来越多它迭代越来越快那就是不管是硬件还是软件生态其实又越来越成熟。

Speaker 1

对对对是的是去年已经落灰的很多服务器今年被大批量使用起来一个原因但是这个。

对对对是的是去年已经落灰的很多服务器今年被大批量使用起来一个原因但是这个。

Speaker 1

这个停顿原因,第一个就是就是我们就是今年的AGENT突然火起来,然后反而国内也很缺算力。

这个停顿原因,第一个就是就是我们就是今年的AGENT突然火起来,然后反而国内也很缺算力。

Speaker 1

对啊,但是这个总体来讲,我们的国产AI芯片的软件生态的的提升也也是一个很重要的方面。

对啊,但是这个总体来讲,我们的国产AI芯片的软件生态的的提升也也是一个很重要的方面。

Speaker 0

我的割裂的感觉是什么?

我的割裂的感觉是什么?

Speaker 0

一方面就是让我这次看到超节点,觉得我们国家做这哇这个AI算力这么蓬勃,这么多GPU厂商,然后每家都在出自己的超节点。

一方面就是让我这次看到超节点,觉得我们国家做这哇这个AI算力这么蓬勃,这么多GPU厂商,然后每家都在出自己的超节点。

Speaker 0

然后另外方面你就看到哇什么KIMI K3发布以后,然后这个因为服务器不够用然后就崩掉了嘛。

然后另外方面你就看到哇什么KIMI K3发布以后,然后这个因为服务器不够用然后就崩掉了嘛。

Speaker 0

你你会觉得就是现在我们国家这个算力的供给能够满足这个大模型厂商的需求吗?

你你会觉得就是现在我们国家这个算力的供给能够满足这个大模型厂商的需求吗?

Speaker 1

就是要分两个层面来看,芯片厂商多但是只是说产品的类型比较多,但是我们的卡点还是在AI芯片的产能上,产能是。

就是要分两个层面来看,芯片厂商多但是只是说产品的类型比较多,但是我们的卡点还是在AI芯片的产能上,产能是。

Speaker 1

小的,但是我们的芯片种类多一些。

小的,但是我们的芯片种类多一些。

Speaker 0

机器放在那儿,但是要量产的话还是还是有卡点。

机器放在那儿,但是要量产的话还是还是有卡点。

Speaker 1

对对对,是的。

对对对,是的。

Speaker 1

所以就是从当前这个时间点来看的话,就是咱国内这些厂商,如果说它的软件站比之前更加稳定,那我觉得就是现在产能会是一个瓶颈。

所以就是从当前这个时间点来看的话,就是咱国内这些厂商,如果说它的软件站比之前更加稳定,那我觉得就是现在产能会是一个瓶颈。

Speaker 1

就是说谁有产能,可能谁的优势就会更大一些。

就是说谁有产能,可能谁的优势就会更大一些。

Speaker 1

所以这也是今年我们可以看到。

所以这也是今年我们可以看到。

Speaker 1

不管是阿里还是字节,它比去年选择了更加的国产芯片厂商。

不管是阿里还是字节,它比去年选择了更加的国产芯片厂商。

Speaker 1

那我觉得其中一个重要原因就是产能。

那我觉得其中一个重要原因就是产能。

Speaker 0

国内的芯片是不是在成本上还是有很很大的优势?

国内的芯片是不是在成本上还是有很很大的优势?

Speaker 1

成本上好像并不是哦。

成本上好像并不是哦。

Speaker 1

这个怎么讲呢?

这个怎么讲呢?

Speaker 1

就是这个成本上我们要分多个角度去想这个问题。

就是这个成本上我们要分多个角度去想这个问题。

Speaker 1

比如说像去年一样啊,NV那边有很多的啊服务器进来,比如说H100、H200、B200、B300,去年进来很多嘛。

比如说像去年一样啊,NV那边有很多的啊服务器进来,比如说H100、H200、B200、B300,去年进来很多嘛。

Speaker 1

就是如果说按照去年那个价,那其实还是NV的的性价比更高一些。

就是如果说按照去年那个价,那其实还是NV的的性价比更高一些。

Speaker 1

但是因为今年H系列已经进不来了,然后B系列能进来的B300的量也很少,然后就导致啊国内B300的八卡机的价钱被炒得非常非常多,像去年Q3的时候B300价格才只有370万、380万。

但是因为今年H系列已经进不来了,然后B系列能进来的B300的量也很少,然后就导致啊国内B300的八卡机的价钱被炒得非常非常多,像去年Q3的时候B300价格才只有370万、380万。

Speaker 1

今年最新的,我看到有人报价已经到了1200万、1300万了。

今年最新的,我看到有人报价已经到了1200万、1300万了。

Speaker 1

那如果说按照这个价去采购,那它成本是要比国内这些厂商成本要高的。

那如果说按照这个价去采购,那它成本是要比国内这些厂商成本要高的。

Speaker 0

嗯,主要还是买不到。

嗯,主要还是买不到。

Speaker 1

对对对,是的,买不到。

对对对,是的,买不到。

Speaker 0

就是你会觉得需要这么多国产厂商来供给这个芯片或者是超节点吗?

就是你会觉得需要这么多国产厂商来供给这个芯片或者是超节点吗?

Speaker 1

呃,就是从AI芯片层面来看的话,也能够体现出我们跟美国那边研发方面的一些不同啊。

呃,就是从AI芯片层面来看的话,也能够体现出我们跟美国那边研发方面的一些不同啊。

Speaker 1

像美国那边,他除了几个大厂,包括亚马逊啊、META、微软,他们也在做自己芯片嘛。

像美国那边,他除了几个大厂,包括亚马逊啊、META、微软,他们也在做自己芯片嘛。

Speaker 1

然后他们做的这个芯片跟NV和谷歌路线其实差不太多。

然后他们做的这个芯片跟NV和谷歌路线其实差不太多。

Speaker 1

但是美国那边他的创业公司做的AI芯片包,包括GROK,包括像前段时间上市的那个CEREBUS,对他们的方案其实都是跟这几个大厂方案是不一样的。

但是美国那边他的创业公司做的AI芯片包,包括GROK,包括像前段时间上市的那个CEREBUS,对他们的方案其实都是跟这几个大厂方案是不一样的。

Speaker 1

但是我们国内的芯片厂商,不管是大厂自研的还是这些创业公司。

但是我们国内的芯片厂商,不管是大厂自研的还是这些创业公司。

Speaker 1

他们的技术路线其实都是非常像的。

他们的技术路线其实都是非常像的。

Speaker 1

然后第二,就是我们自己在做AI芯片的这几年,也是前面的话啊,是由政府来买单,就是通过信创或运营商去买单,去鼓励大家做AI芯片。

然后第二,就是我们自己在做AI芯片的这几年,也是前面的话啊,是由政府来买单,就是通过信创或运营商去买单,去鼓励大家做AI芯片。

Speaker 1

嗯,从这个去年开始吧,其实很多这互联网大厂它开始去。

嗯,从这个去年开始吧,其实很多这互联网大厂它开始去。

Speaker 1

选择国内的AI芯片,不管主动还是被动也好。

选择国内的AI芯片,不管主动还是被动也好。

Speaker 1

但是他们确实是花真金白银去买国产AI芯片了,而且今年买的更多啊。

但是他们确实是花真金白银去买国产AI芯片了,而且今年买的更多啊。

Speaker 1

但是呢,它每个AI芯片厂商他们的软件生态都是不一样的。

但是呢,它每个AI芯片厂商他们的软件生态都是不一样的。

Speaker 1

那即便他说我是内扩大生态,我可以兼容扩大,但这个兼容都是说,比如说我原先的代码是基于扩大开发的,那你想把这个代码放到我的芯片上来的话,那我给你提供一个工具或一个脚本,可以帮你把这个基于扩大代码。

那即便他说我是内扩大生态,我可以兼容扩大,但这个兼容都是说,比如说我原先的代码是基于扩大开发的,那你想把这个代码放到我的芯片上来的话,那我给你提供一个工具或一个脚本,可以帮你把这个基于扩大代码。

Speaker 1

转成能够跑在我的AI芯片上代码,但是这个转成之后总归要要再去改一下、再去调一下才行啊。

转成能够跑在我的AI芯片上代码,但是这个转成之后总归要要再去改一下、再去调一下才行啊。

Speaker 1

对,所以他们的软件生态是不一样的。

对,所以他们的软件生态是不一样的。

Speaker 1

那所以这些这个互联网大厂,这个在我看来他不可能去选择非常多家的国产芯片厂商,因为这样的话就意味着他要。

那所以这些这个互联网大厂,这个在我看来他不可能去选择非常多家的国产芯片厂商,因为这样的话就意味着他要。

Speaker 1

让他的员工、他的工程师去学多家厂商的这个软件,对。

让他的员工、他的工程师去学多家厂商的这个软件,对。

Speaker 1

所以基于这个背景,那我觉得如果到了今年年底,甚至说到了明年吧,啊,你还没有从这几家大的互联网厂商拿到一个大的订单的话,那我觉得后面可能就比较难了。

所以基于这个背景,那我觉得如果到了今年年底,甚至说到了明年吧,啊,你还没有从这几家大的互联网厂商拿到一个大的订单的话,那我觉得后面可能就比较难了。

Speaker 1

然后反过来讲,如果你现在已经拿到了这几家大厂的订单,或者说。

然后反过来讲,如果你现在已经拿到了这几家大厂的订单,或者说。

Speaker 1

已经进了两家或三家了,那可以说就是这个AI芯片厂商就算是做的这个比较成功了。

已经进了两家或三家了,那可以说就是这个AI芯片厂商就算是做的这个比较成功了。

Speaker 0

你看好哪几家?

你看好哪几家?

Speaker 1

从我目前得到信息来看,我觉得寒武纪它的这个地位应该还是比较稳定的。

从我目前得到信息来看,我觉得寒武纪它的这个地位应该还是比较稳定的。

Speaker 1

华为也可以,对华为肯定是龙头嘛。

华为也可以,对华为肯定是龙头嘛。

Speaker 1

嗯嗯嗯,对对对,它肯定龙头嘛。

嗯嗯嗯,对对对,它肯定龙头嘛。

Speaker 1

从这个业内来看的话,龙头就是华为跟寒武纪,然后再加上几个大厂自研的,包括平头哥、包括轮新,对,然后剩下就二线厂商这个创业公司。

从这个业内来看的话,龙头就是华为跟寒武纪,然后再加上几个大厂自研的,包括平头哥、包括轮新,对,然后剩下就二线厂商这个创业公司。

Speaker 0

感觉其实有点像自动驾驶。

感觉其实有点像自动驾驶。

Speaker 0

就是刚刚起来的时候,因为国家有很多补贴嘛,所以有非常多的自动驾驶厂商然后进场来造车。

就是刚刚起来的时候,因为国家有很多补贴嘛,所以有非常多的自动驾驶厂商然后进场来造车。

Speaker 0

但是你像可能现在经过了五年、六年,国家的补贴逐渐这个退坡以后,然后就进入一个市场化的阶段。

但是你像可能现在经过了五年、六年,国家的补贴逐渐这个退坡以后,然后就进入一个市场化的阶段。

Speaker 0

那可能最后能够站住脚的可能也就那么五六家公司。

那可能最后能够站住脚的可能也就那么五六家公司。

Speaker 1

嗯,对,是的,是的。

嗯,对,是的,是的。

Speaker 0

是很像。

是很像。

Speaker 0

你觉得用多长时间能够见到分享?

你觉得用多长时间能够见到分享?

Speaker 1

我觉得应该快了,嗯,应该不用等到五六年,对,因为我们。

我觉得应该快了,嗯,应该不用等到五六年,对,因为我们。

Speaker 1

就是为国产AI芯片买单,更多的钱还是来自CSP云厂商。

就是为国产AI芯片买单,更多的钱还是来自CSP云厂商。

Speaker 0

而不是新创。

而不是新创。

Speaker 0

对,然后那你觉得现在在做超节点的话,呃,还有一些什么样的呃技术模块你感觉是卡点的呢?

对,然后那你觉得现在在做超节点的话,呃,还有一些什么样的呃技术模块你感觉是卡点的呢?

Speaker 0

或者说是这个超节点的这个发展会带来哪一些技术的进步?

或者说是这个超节点的这个发展会带来哪一些技术的进步?

Speaker 1

对超一点其实就是它相对巴卡机它有很多的技术或者说模块都是有很大升级的包括网络包括供电包括包括夜冷对这些都是有很大升级的那个我觉得就是从超一点来看的话像供电这方面的话像NV它从去年就开始推自己的800VDC嘛然后。

对超一点其实就是它相对巴卡机它有很多的技术或者说模块都是有很大升级的包括网络包括供电包括包括夜冷对这些都是有很大升级的那个我觉得就是从超一点来看的话像供电这方面的话像NV它从去年就开始推自己的800VDC嘛然后。

Speaker 0

哎VDC是什么直流。

哎VDC是什么直流。

Speaker 1

嗯800伏高压直流供电。

嗯800伏高压直流供电。

Speaker 1

啊88嗯嗯嗯对然后就是夜冷的话就是因为。

啊88嗯嗯嗯对然后就是夜冷的话就是因为。

Speaker 1

就是呃,全球来看的话,其实除了NV的GB200,就是它的第一批GB200是使用风冷,然后它后面就是就使用硬冷。

就是呃,全球来看的话,其实除了NV的GB200,就是它的第一批GB200是使用风冷,然后它后面就是就使用硬冷。

Speaker 1

然后到了GB300呢,它是叫全液冷,就是它除了COMPUTER TREE,它那些什么啊交换啊存储什么都是使用的液冷,使用冷板的对。

然后到了GB300呢,它是叫全液冷,就是它除了COMPUTER TREE,它那些什么啊交换啊存储什么都是使用的液冷,使用冷板的对。

Speaker 1

所以就是我们来看的话,它的这个呃液冷市场是增加非常多的。

所以就是我们来看的话,它的这个呃液冷市场是增加非常多的。

Speaker 1

然后第三就是供电,它的供电功耗大了之后,那它的电源其实也是需要上液冷的。

然后第三就是供电,它的供电功耗大了之后,那它的电源其实也是需要上液冷的。

Speaker 1

对,所以就是我们如果单从谷歌来看的话,我知道谷歌那边的数据是说它2027年,嗯,谷歌对液冷的需求的总总的价值量是进行了4倍。

对,所以就是我们如果单从谷歌来看的话,我知道谷歌那边的数据是说它2027年,嗯,谷歌对液冷的需求的总总的价值量是进行了4倍。

Speaker 1

但是4倍咋来的呢?

但是4倍咋来的呢?

Speaker 1

第一个是它整个TPU的量的上升,第二个是啊,它除了TPU,它的什么电源、光模块儿这些东西。

第一个是它整个TPU的量的上升,第二个是啊,它除了TPU,它的什么电源、光模块儿这些东西。

Speaker 1

也也需要上夜冷,对。

也也需要上夜冷,对。

Speaker 1

所以它的夜冷增长是非常大的,对。

所以它的夜冷增长是非常大的,对。

Speaker 1

然后还有就是这个网络这一块,咱国内的话就是之前使用的网络还是以这个博通为主啊,就是即便像华三、包括瑞杰他们提供了交换机,但是里面使用的芯片还是博通为主。

然后还有就是这个网络这一块,咱国内的话就是之前使用的网络还是以这个博通为主啊,就是即便像华三、包括瑞杰他们提供了交换机,但是里面使用的芯片还是博通为主。

Speaker 1

但是在这一块我们国内啊,目前也在很快的这个研发,而且现在已经就是能够跟博通。

但是在这一块我们国内啊,目前也在很快的这个研发,而且现在已经就是能够跟博通。

Speaker 1

相媲美的芯片。

相媲美的芯片。

Speaker 0

这个产品了。

这个产品了。

Speaker 0

网络的芯片是是交换芯片吗?

网络的芯片是是交换芯片吗?

Speaker 0

你说的是对对对,是交换芯片。

你说的是对对对,是交换芯片。

Speaker 0

嗯,现在主流是博通。

嗯,现在主流是博通。

Speaker 1

现在SKILL OUT是以博通的呃芯片为主,然后这个SKILL UP的话就还是我们刚刚说的,就是每一家生态比较割裂,就是他们会选用自己的协议嘛。

现在SKILL OUT是以博通的呃芯片为主,然后这个SKILL UP的话就还是我们刚刚说的,就是每一家生态比较割裂,就是他们会选用自己的协议嘛。

Speaker 0

嗯那你会觉得比如说2026年是一个比如说国产芯片算力的一个转折点嘛,就比如说因为有媒体说是今年是这个超节点元年嘛。

嗯那你会觉得比如说2026年是一个比如说国产芯片算力的一个转折点嘛,就比如说因为有媒体说是今年是这个超节点元年嘛。

Speaker 1

呃首先我觉得元年这个词现在已经被用烂了,呃光我听到了元年就有好多个,比如说今年是什么推理元年啊、液冷元年。

呃首先我觉得元年这个词现在已经被用烂了,呃光我听到了元年就有好多个,比如说今年是什么推理元年啊、液冷元年。

Speaker 1

对,就是这些词太多了。

对,就是这些词太多了。

Speaker 1

但是从目前来看的话,今年确实是一个超节点的一个,就是很有标志性的一个年份爆发点。

但是从目前来看的话,今年确实是一个超节点的一个,就是很有标志性的一个年份爆发点。

Speaker 1

对,就是中国这么多家超节点都在今年推出了自己的产品,就他们虽然研发可能也在去年、今年已经开始了,但是大规模推出的年份还是今年。

对,就是中国这么多家超节点都在今年推出了自己的产品,就他们虽然研发可能也在去年、今年已经开始了,但是大规模推出的年份还是今年。

Speaker 1

然后第二就是,就是我们今年。

然后第二就是,就是我们今年。

Speaker 1

所使用的国产AI芯片的这个量,比去年要增加了非常非常多。

所使用的国产AI芯片的这个量,比去年要增加了非常非常多。

Speaker 0

就是它确实是有这个实际的需求的,就对国产芯片的需求,而不是仅仅是信创的需求。

就是它确实是有这个实际的需求的,就对国产芯片的需求,而不是仅仅是信创的需求。

Speaker 1

对,是的啊。

对,是的啊。

Speaker 1

说明第一个是我们国家的这个大模型的能力也是比较强,就是我们国人使用国产大模型的这个量也是在提升。

说明第一个是我们国家的这个大模型的能力也是比较强,就是我们国人使用国产大模型的这个量也是在提升。

Speaker 1

第二就是这些大模型厂商或者云厂商。

第二就是这些大模型厂商或者云厂商。

Speaker 1

他也开始认可我们国内的这些AI芯片,嗯,所以他们现在也会主动去去买国内这些AI芯片。

他也开始认可我们国内的这些AI芯片,嗯,所以他们现在也会主动去去买国内这些AI芯片。

Speaker 0

好呀啊,那我们今天讲了挺多的啊,海军帮我们拆解了这个超节点,从这个技术方面,包括到商业,然后以及到应用场景,我觉得我们都聊了挺多的。

好呀啊,那我们今天讲了挺多的啊,海军帮我们拆解了这个超节点,从这个技术方面,包括到商业,然后以及到应用场景,我觉得我们都聊了挺多的。

Speaker 0

那我们今天谢谢海军。

那我们今天谢谢海军。

Speaker 1

时间拜拜,那谢谢大家,拜拜。

时间拜拜,那谢谢大家,拜拜。

Speaker 0

今天的科技早知道就到这里了。

今天的科技早知道就到这里了。

Speaker 0

听完之后,如果你有任何的想法,欢迎在评论区和我们交流;如果有任何想听的话题,也请告诉我们。

听完之后,如果你有任何的想法,欢迎在评论区和我们交流;如果有任何想听的话题,也请告诉我们。

Speaker 0

如果你喜欢我们的节目,请记得分享给更多的朋友。

如果你喜欢我们的节目,请记得分享给更多的朋友。

Speaker 0

那我们下期再见,下期再见。

那我们下期再见,下期再见。

关于 Bayt 播客

Bayt 提供中文+原文双语音频和字幕,帮助你打破语言障碍,轻松听懂全球优质播客。

继续浏览更多播客