本集简介
双语字幕
仅展示文本字幕，不包含中文音频；想边听边看，请使用 Bayt 播客 App。
用声音。
用声音。
碰撞世界。
碰撞世界。
生动活泼。
生动活泼。
Welcome to the stage nvidia.
Welcome to the stage nvidia.
founder and ceo.
founder and ceo.
jensen wang hello 大家好，欢迎来到我们今天的科技早知道。
jensen wang hello 大家好，欢迎来到我们今天的科技早知道。
那今天其实我是在英伟达2026G T C的现场，那今天是第一天开展。
那今天其实我是在英伟达2026G T C的现场，那今天是第一天开展。
welcome to G T C。
welcome to G T C。
What an amazing year!
What an amazing year!
在这期节目开始之前，我觉得我还是需要几分钟的时间，从我的这个视角帮助大家梳理一下这一次的 gtc 因为这次 gtc 它还是蛮有划时代意义的一年，我希望能够通过今天的这个节目，然后能给大家有一个结构化的的一个视角来看今年的 gtc.
在这期节目开始之前，我觉得我还是需要几分钟的时间，从我的这个视角帮助大家梳理一下这一次的 gtc 因为这次 gtc 它还是蛮有划时代意义的一年，我希望能够通过今天的这个节目，然后能给大家有一个结构化的的一个视角来看今年的 gtc.
And i just want you to know that i'm up here without a net there are no scripts there's no teleprompter and i've got a lot of things to cover so let's get started.
And i just want you to know that i'm up here without a net there are no scripts there's no teleprompter and i've got a lot of things to cover so let's get started.
首先呢，从发布的产品来看啊，他们发布了 vr rubin 它是一个有七颗关键芯片组成的一个新型的这个架构。
首先呢，从发布的产品来看啊，他们发布了 vr rubin 它是一个有七颗关键芯片组成的一个新型的这个架构。
然后同时也有这个 vr rubin 加上 grok。
然后同时也有这个 vr rubin 加上 grok。
这个 grok 是 groq 啊，不是 grok 是一家呃专门做 lpu 的一家这个芯片初创公司。
这个 grok 是 groq 啊，不是 grok 是一家呃专门做 lpu 的一家这个芯片初创公司。
然后去年英伟达以200亿美元的价格收购了他们，他们同时也发布了下一代的这个架构叫费曼，就是物理学家费曼的这个费曼。
然后去年英伟达以200亿美元的价格收购了他们，他们同时也发布了下一代的这个架构叫费曼，就是物理学家费曼的这个费曼。
generation will be named after feynman.
generation will be named after feynman.
然后同时，大家也可以看到今年是这个库达的20周年。
然后同时，大家也可以看到今年是这个库达的20周年。
英伟达不仅只是它这个硬件做的稳，其中一个很大的原因就是它的生态，它的库达的这个生态。
英伟达不仅只是它这个硬件做的稳，其中一个很大的原因就是它的生态，它的库达的这个生态。
然后今年在媒体的问答会上面，这个老黄说了一句话：我其实记到现在，当时整个库达团队占了公司的成本的90%，收入是零。
然后今年在媒体的问答会上面，这个老黄说了一句话：我其实记到现在，当时整个库达团队占了公司的成本的90%，收入是零。
但是老黄就是这么有魄力的。
但是老黄就是这么有魄力的。
持续的让公司再去开发库达。
持续的让公司再去开发库达。
然后他也说了，如果当年没有做库达，就没有今天的英伟达。
然后他也说了，如果当年没有做库达，就没有今天的英伟达。
所以今年他们也是从呃这个角度，然后做了很多的不同行业他们的这个 library 代码库的这个更新。
所以今年他们也是从呃这个角度，然后做了很多的不同行业他们的这个 library 代码库的这个更新。
当然了，英伟达也发布了自己版本的小龙虾，呃，nemo claw 当然也有今年说的很多的，就是他们的自己的开源自动驾驶软件。
当然了，英伟达也发布了自己版本的小龙虾，呃，nemo claw 当然也有今年说的很多的，就是他们的自己的开源自动驾驶软件。
叫做 alpamayo。
叫做 alpamayo。
the alpamayo ecosystem also includes the nvidia physical ai dataset.
the alpamayo ecosystem also includes the nvidia physical ai dataset.
抛开所有的这些发布的硬件啊、软件啊，这些产品不说，我感受最深的就还是整个老黄他自己的状态跟前两年完全不一样，因为我已经连续了三年参加了 gtc 了。
抛开所有的这些发布的硬件啊、软件啊，这些产品不说，我感受最深的就还是整个老黄他自己的状态跟前两年完全不一样，因为我已经连续了三年参加了 gtc 了。
let's finish it up we have another announcement you're good you're good just stand right here stand right here.
let's finish it up we have another announcement you're good you're good just stand right here stand right here.
那今年其实是，我觉得他是最放松的一年。
那今年其实是，我觉得他是最放松的一年。
不管是台上的他的表现啊，然后到跟我们的媒体的这个 qa 的环节，表现在方方面面。
不管是台上的他的表现啊，然后到跟我们的媒体的这个 qa 的环节，表现在方方面面。
像去年他其实还是需要在不断的向世界，特别是这个二级市场的这些分析师啊，要去证明 ai 的 roi，他要去 pitch ai，但今年他完全不需要了。
像去年他其实还是需要在不断的向世界，特别是这个二级市场的这些分析师啊，要去证明 ai 的 roi，他要去 pitch ai，但今年他完全不需要了。
包括去年他其实在这个媒体访谈的时候，他只开放了给这些白名单的公司才能问他问题啊。
包括去年他其实在这个媒体访谈的时候，他只开放了给这些白名单的公司才能问他问题啊。
今年其实是我看现场大概能够有100多家吧，然后全世界各地的媒体，然后向他问问题，他都是非常的笑容满面，还跟大家开玩笑啊，气氛非常的轻松。
今年其实是我看现场大概能够有100多家吧，然后全世界各地的媒体，然后向他问问题，他都是非常的笑容满面，还跟大家开玩笑啊，气氛非常的轻松。
今年其实就是已经成为了行业共识了。
今年其实就是已经成为了行业共识了。
Ai 它并不是一个需要再去证明的东西，这个是我今年最大的感受。
Ai 它并不是一个需要再去证明的东西，这个是我今年最大的感受。
那大家可能有的会问这个为什么？
那大家可能有的会问这个为什么？
其实就是 agent 爆发这一个事情带来的。
其实就是 agent 爆发这一个事情带来的。
这么多的 agent 他们在推理，然后他们在带来的这些 token 的大量的消耗，其实就是老黄的这个信心的底气的这个来源。
这么多的 agent 他们在推理，然后他们在带来的这些 token 的大量的消耗，其实就是老黄的这个信心的底气的这个来源。
the amount of computation we need.
the amount of computation we need.
At this point, as a result of agentic AI, as a result of reasoning, is easily a hundred times more than we thought we needed this time last year.
At this point, as a result of agentic AI, as a result of reasoning, is easily a hundred times more than we thought we needed this time last year.
And let's reason about why that's true:.
And let's reason about why that's true:.
tokens decode the laws of physics.
tokens decode the laws of physics.
TO GET US THERE FASTER.
TO GET US THERE FASTER.
对大家其实应该也注意到了。
对大家其实应该也注意到了。
整个在这个它的 KEYNOTE 的一开场，其实是有一个非常唯美的、一个特别激动人心的 TOKEN。
整个在这个它的 KEYNOTE 的一开场，其实是有一个非常唯美的、一个特别激动人心的 TOKEN。
怎么像是这种电呀、水呀，已经渗透在了我们人类生活的方方面面的这样的一个短片？
怎么像是这种电呀、水呀，已经渗透在了我们人类生活的方方面面的这样的一个短片？
我自己其实是有一点点被感动到的。
我自己其实是有一点点被感动到的。
所以AGENT它的爆发给行业带来的这个启发是什么呢？
所以AGENT它的爆发给行业带来的这个启发是什么呢？
那就是如果AGENT要被大量的、大规模的使用的话，那这些TOKEN是谁来优化的？
那就是如果AGENT要被大量的、大规模的使用的话，那这些TOKEN是谁来优化的？
那以往其实这些在闭源的AI公司里面，像是OPENAI、ANTHROPIC，就是他们自己在去主导的。
那以往其实这些在闭源的AI公司里面，像是OPENAI、ANTHROPIC，就是他们自己在去主导的。
呃，你只能用他们的API，你没有办法去决定模型是怎么运行的，他给你直接就就就处理好了。
呃，你只能用他们的API，你没有办法去决定模型是怎么运行的，他给你直接就就就处理好了。
但是在开源的这个模型下面，你可以做非常多的优化、资源调度等等等等。
但是在开源的这个模型下面，你可以做非常多的优化、资源调度等等等等。
那这个其实就是打开了一层全新的商业新的空间。
那这个其实就是打开了一层全新的商业新的空间。
对，如何让一个模型在同样的 gpu 上面跑得更快，然后更加准确、更稳定，这个同时能够支持多并发的这些需求，这个就是今年最重要的东西。
对，如何让一个模型在同样的 gpu 上面跑得更快，然后更加准确、更稳定，这个同时能够支持多并发的这些需求，这个就是今年最重要的东西。
Tokens don't just teach robots how to move but to bring joy.
Tokens don't just teach robots how to move but to bring joy.
所以总结一下的话，其实就是 agent 让 ai 真正的被大量的用起来，那开源让 ai 可以被真实的优化。
所以总结一下的话，其实就是 agent 让 ai 真正的被大量的用起来，那开源让 ai 可以被真实的优化。
然后推理这一层呢，就是让 ai 可以更好的去被调度、商业化和规模化。
然后推理这一层呢，就是让 ai 可以更好的去被调度、商业化和规模化。
这三个事情其实都是连在一起发生的。
这三个事情其实都是连在一起发生的。
这也是为什么今年在老黄的 keynote 上面，他们会把 croc。
这也是为什么今年在老黄的 keynote 上面，他们会把 croc。
这样LPU的一个解决的这个方案，放进了自己的整体的解决方案体系里面。
这样LPU的一个解决的这个方案，放进了自己的整体的解决方案体系里面。
那很多人会觉得LPU是一个非常激进的路线，看起来跟英伟达传统的GPU思路完全不一样。
那很多人会觉得LPU是一个非常激进的路线，看起来跟英伟达传统的GPU思路完全不一样。
对，说到这儿可能大家也对GPU、LPU，甚至是谷歌自己的TPU这几个概念有一点不知所云。
对，说到这儿可能大家也对GPU、LPU，甚至是谷歌自己的TPU这几个概念有一点不知所云。
那我就很通俗的跟大家讲一下。
那我就很通俗的跟大家讲一下。
如果要类比的话，可能GPU更加像是一个中央厨房，什么都能做。
如果要类比的话，可能GPU更加像是一个中央厨房，什么都能做。
那TPU就像是这个自家定制的厨房啊，就是为为自己他们的这些呃需求来定制的。
那TPU就像是这个自家定制的厨房啊，就是为为自己他们的这些呃需求来定制的。
那LPU它是一条更加极致的、很快的这种流水线，就就是快。
那LPU它是一条更加极致的、很快的这种流水线，就就是快。
嗯，它可能也会牺牲一些其他的东西。
嗯，它可能也会牺牲一些其他的东西。
这个他们并不是说是这个谁更好谁更坏，他们只是为了不同的目标而进行优化。
这个他们并不是说是这个谁更好谁更坏，他们只是为了不同的目标而进行优化。
那LPU就是。
那LPU就是。
英伟达下一步优化的一个重要的方向。
英伟达下一步优化的一个重要的方向。
Thank you i love you too thank you.
Thank you i love you too thank you.
所以在这个新的范式下面，因为以前其实就是底层的这个英伟达这样的呃公司，然后再加上闭源的 ai 公司。
所以在这个新的范式下面，因为以前其实就是底层的这个英伟达这样的呃公司，然后再加上闭源的 ai 公司。
那这样的范式变化了之后，其实中间核心的这一层就变得非常的重要。
那这样的范式变化了之后，其实中间核心的这一层就变得非常的重要。
那在这次的 gtc 我们也采访到了一家推理层的公司，然后它名字叫做。
那在这次的 gtc 我们也采访到了一家推理层的公司，然后它名字叫做。
AGEN EIGEN，这次的GTC上面他们也出现在了黄仁勋KEYNOTE的大屏幕上面。
AGEN EIGEN，这次的GTC上面他们也出现在了黄仁勋KEYNOTE的大屏幕上面。
他们是现在推理速度跑得最快的团队之一，所以我们就想今天借着这个采访跟大家真正地聊一聊推理这一层现在正在发生什么。
他们是现在推理速度跑得最快的团队之一，所以我们就想今天借着这个采访跟大家真正地聊一聊推理这一层现在正在发生什么。
因为后面其实这个采访还是有挺多的专业的术语的，就非专业的朋友其实也不用说是被吓到啊。
因为后面其实这个采访还是有挺多的专业的术语的，就非专业的朋友其实也不用说是被吓到啊。
如果跟大家一个大方向去听这一期的话，就是。
如果跟大家一个大方向去听这一期的话，就是。
在不同的这个层面上面，现在的这个推理公司是怎么样去做不同的优化，不同的调参，不同的这个调配的，我没有听明白也没有问题。
在不同的这个层面上面，现在的这个推理公司是怎么样去做不同的优化，不同的调参，不同的这个调配的，我没有听明白也没有问题。
好了，那下面就是我们今天的节目。
好了，那下面就是我们今天的节目。
在节目的开始，推荐一则最近的新鲜事给你。
在节目的开始，推荐一则最近的新鲜事给你。
你有没有想过，我们的数字信息，比如邮件、网页，会在某一天变成文物？
你有没有想过，我们的数字信息，比如邮件、网页，会在某一天变成文物？
上个月，一家名为V&A的伦敦博物馆收藏了一条发布于20年前18秒的YouTube视频。
上个月，一家名为V&A的伦敦博物馆收藏了一条发布于20年前18秒的YouTube视频。
而收藏这段视频，花费了他们整整一年半的时间。
而收藏这段视频，花费了他们整整一年半的时间。
他们不仅要找到20年前的代码，还得要把运行这段代码的视频播放界面一点点地重建起来。
他们不仅要找到20年前的代码，还得要把运行这段代码的视频播放界面一点点地重建起来。
那除了视频，这家博物馆还收藏过我们每天都在用的微信、一个文字的表情符号等等。
那除了视频，这家博物馆还收藏过我们每天都在用的微信、一个文字的表情符号等等。
那这些东西为什么能成为博物馆的正式展品？
那这些东西为什么能成为博物馆的正式展品？
在不断更新的数字时代，今天的数字世界会在未来消失吗？
在不断更新的数字时代，今天的数字世界会在未来消失吗？
这个话题来自于我们的播客 KNOCK KNOCK 世界。
这个话题来自于我们的播客 KNOCK KNOCK 世界。
如果你感兴趣，可以在单机简介中看到我们这期节目的链接。
如果你感兴趣，可以在单机简介中看到我们这期节目的链接。
能大概帮我们这个介绍一下这个Egan这个词是什么意思？
能大概帮我们这个介绍一下这个Egan这个词是什么意思？
然后你们是什么样的一个背景的公司？
然后你们是什么样的一个背景的公司？
呃我们是成立于去年的大概五六月份。
呃我们是成立于去年的大概五六月份。
嗯呃Egan这个名字的话是主要是数学的里面的一个名词叫Egan Value或者是Egan Vector啊我们要取一个矩阵里面的最有意义的那些Value跟Vector来代表整个矩阵。
嗯呃Egan这个名字的话是主要是数学的里面的一个名词叫Egan Value或者是Egan Vector啊我们要取一个矩阵里面的最有意义的那些Value跟Vector来代表整个矩阵。
那么这个就对应于我们做这个Optimization的时候其实大部分时候都是在挑选整个模型里面最精华的部分。
那么这个就对应于我们做这个Optimization的时候其实大部分时候都是在挑选整个模型里面最精华的部分。
然后把那些冗余部分去掉，这样的话才能够去加速。
然后把那些冗余部分去掉，这样的话才能够去加速。
然后另外一层意思的话，就是它是在德语里面的发言出来一个词，然后它的原意的话就叫做ON，也就是我们的ENTERPRISE USER的话，它能够ON这个模型或者是ON整个INFRA，能够控制啊它的系统里面的每一个部分。
然后另外一层意思的话，就是它是在德语里面的发言出来一个词，然后它的原意的话就叫做ON，也就是我们的ENTERPRISE USER的话，它能够ON这个模型或者是ON整个INFRA，能够控制啊它的系统里面的每一个部分。
那么我们就是提供这样一个服务给他们，提供这样一个INFRA给他们，这样的话他们可以完全掌控自己的服务。
那么我们就是提供这样一个服务给他们，提供这样一个INFRA给他们，这样的话他们可以完全掌控自己的服务。
第3个意思的话其实就是你会发现就是 AGENT 的话刚好是 efficient gen 就是 efficient generative 所以这样3层含义的话就让它非常的完美。
第3个意思的话其实就是你会发现就是 AGENT 的话刚好是 efficient gen 就是 efficient generative 所以这样3层含义的话就让它非常的完美。
比比 NVIDIA 这个名字要，哈哈哈。
比比 NVIDIA 这个名字要，哈哈哈。
大家都不知道是什么意思。
大家都不知道是什么意思。
对对对，NVIDIA 的话也挺难念的，说实话。
对对对，NVIDIA 的话也挺难念的，说实话。
对，所以你们4个 co-founder 是吧？
对，所以你们4个 co-founder 是吧？
联合创始人，然后你们都是这个同学，原来在 MIT.
联合创始人，然后你们都是这个同学，原来在 MIT.
是3个 co-founder 3个 co-founder 哦，说错了。
是3个 co-founder 3个 co-founder 哦，说错了。
对，其中有一个人呢，后来成为 advisor 了。
对，其中有一个人呢，后来成为 advisor 了。
我们三个人的话，现在都是 mit 出身的。
我们三个人的话，现在都是 mit 出身的。
我们 ceo ryan 还有另外一个合伙人韦晨的话是韩韩老师组的，就是韩松组的。
我们 ceo ryan 还有另外一个合伙人韦晨的话是韩韩老师组的，就是韩松组的。
然后我的话也是在 csl 毕业，校园期间18年的样子认识了 ryan。
然后我的话也是在 csl 毕业，校园期间18年的样子认识了 ryan。
后来他毕业之后第一时间找到了我，然后跟我一起商量做什么。
后来他毕业之后第一时间找到了我，然后跟我一起商量做什么。
一开始的时候甚至还在讨论做一个 agent 的公司。
一开始的时候甚至还在讨论做一个 agent 的公司。
在这个是什么时候？
在这个是什么时候？
是去年。
是去年。
这个其实是24年年底，因为那个时候我觉得 agent 肯定是一个爆发的。
这个其实是24年年底，因为那个时候我觉得 agent 肯定是一个爆发的。
那时候刚刚 menas 都还没有 release 他们的。
那时候刚刚 menas 都还没有 release 他们的。
没有没有没有。
没有没有没有。
对，menas 的话应该是25年的23月份样子，对，所以还是比较早的。
对，menas 的话应该是25年的23月份样子，对，所以还是比较早的。
但后来的话就发现，在A线方面的话，只是说有一些经验，但并不是最强的EXPERTISE。
但后来的话就发现，在A线方面的话，只是说有一些经验，但并不是最强的EXPERTISE。
后来就感觉还是做自己最擅长的事情会比较好一点，所以就还是回到了我们这个老本行，就是我是做POST TRAINING啊。
后来就感觉还是做自己最擅长的事情会比较好一点，所以就还是回到了我们这个老本行，就是我是做POST TRAINING啊。
现在这个I杠AI的话，也是继续负责POST TRAINING部分，然后用R遥去啊帮助CUSTOMER来去定制一些模型，然后在它这个DOMAIN里面的话，表现的比啊BAN模型要更好一些。
现在这个I杠AI的话，也是继续负责POST TRAINING部分，然后用R遥去啊帮助CUSTOMER来去定制一些模型，然后在它这个DOMAIN里面的话，表现的比啊BAN模型要更好一些。
Run 一个维程的话，他们就比较擅长的是 inference 的加速，所以他们会去负责，嗯，啊，把这个模型变得越来越快、便宜。
Run 一个维程的话，他们就比较擅长的是 inference 的加速，所以他们会去负责，嗯，啊，把这个模型变得越来越快、便宜。
这一次的 gtc 跟你预想的一样吗？
这一次的 gtc 跟你预想的一样吗？
你们有没有很意外，然后会被放在大屏幕上。
你们有没有很意外，然后会被放在大屏幕上。
给大家展示。
给大家展示。
对，这里其实有个插曲吧，就是啊上周六的时候，gdc 有一个就是负责 startup 或者说这个 keynote 这个人，啊，联系到我。
对，这里其实有个插曲吧，就是啊上周六的时候，gdc 有一个就是负责 startup 或者说这个 keynote 这个人，啊，联系到我。
公关。
公关。
是吧？
是吧？
对。
对。
然后连下来我们说就是他发现我们的那个当时那个排名并没有在前面，但是已经超过100呃TOKENS每秒。
然后连下来我们说就是他发现我们的那个当时那个排名并没有在前面，但是已经超过100呃TOKENS每秒。
所以想看看我们要不要用就是NVIDIA提供的一个一个开源的库来帮我们加速一下。
所以想看看我们要不要用就是NVIDIA提供的一个一个开源的库来帮我们加速一下。
他那个榜里面是这样的，他是三天的AGGREGATION，就是AVERAGE一下。
他那个榜里面是这样的，他是三天的AGGREGATION，就是AVERAGE一下。
然后但是有一个TAB里面显示是当天的，然后我们给他展示一下当天那个我们那个分数的话已经超过了TOGETHER，就成为第一了。
然后但是有一个TAB里面显示是当天的，然后我们给他展示一下当天那个我们那个分数的话已经超过了TOGETHER，就成为第一了。
然后他才知道哦，原来你们已经会了，而且做的比他改的更好一点。
然后他才知道哦，原来你们已经会了，而且做的比他改的更好一点。
这个是专门他周一做的这个演讲，他们周六跟你们联系，你们试用了之后，他们马上就把这个结果给放在了大屏幕上。
这个是专门他周一做的这个演讲，他们周六跟你们联系，你们试用了之后，他们马上就把这个结果给放在了大屏幕上。
实际上我们是呃上周二的时候就已经把这个东西已经做出来了，然后放上去之后，它需要一点点的这个AGGREGATE才能够把那个最终的这个速度给大家实现出来。
实际上我们是呃上周二的时候就已经把这个东西已经做出来了，然后放上去之后，它需要一点点的这个AGGREGATE才能够把那个最终的这个速度给大家实现出来。
嗯，所以。
嗯，所以。
呃，也就相当于在我们没有知道他这个东西的情况下的话，就已经把它做出来了。
呃，也就相当于在我们没有知道他这个东西的情况下的话，就已经把它做出来了。
嗯，对，所以他就觉得这个 ok 呃，没有用我们的东西，你们已经搞出来了。
嗯，对，所以他就觉得这个 ok 呃，没有用我们的东西，你们已经搞出来了。
说明因为你们用他们的新的东西可能会速度还会更快。
说明因为你们用他们的新的东西可能会速度还会更快。
对对对，所以，因为 kindle 这种东西是要提前截稿的，一般是周五的时候就要截了。
对对对，所以，因为 kindle 这种东西是要提前截稿的，一般是周五的时候就要截了。
对，所以他当时已经很难去帮我们再改掉了。
对，所以他当时已经很难去帮我们再改掉了。
但是周一的时候，在我们在看那个直播的时候，突然发现，哎，把最新的东西给它放进去了。
但是周一的时候，在我们在看那个直播的时候，突然发现，哎，把最新的东西给它放进去了。
没想到 nvidia 的这个，哈哈哈，d tc 团队这么。
没想到 nvidia 的这个，哈哈哈，d tc 团队这么。
对，就是周六的时候还在那个工作。
对，就是周六的时候还在那个工作。
而且对这么卷，就是他估计是在周天的时候把它改掉了。
而且对这么卷，就是他估计是在周天的时候把它改掉了。
我想可能从这个整个行业的趋势来说的话，你们在过去的可能这一年里面，你刚刚说反正是agent快速爆发的这个一年嘛，然后你们看到最大的这个呃不一样的这个变化是什么？
我想可能从这个整个行业的趋势来说的话，你们在过去的可能这一年里面，你刚刚说反正是agent快速爆发的这个一年嘛，然后你们看到最大的这个呃不一样的这个变化是什么？
就是以前可能大家都是在训练层，然后今年可能是就是在推理和这个加速层了。
就是以前可能大家都是在训练层，然后今年可能是就是在推理和这个加速层了。
哦，我觉得是因为两点变化吧。
哦，我觉得是因为两点变化吧。
第二点，第一点的话就是所有的公司。
第二点，第一点的话就是所有的公司。
能做POC的，并且做得好的公司是越来越少了，基本上会集中在头部几家了。
能做POC的，并且做得好的公司是越来越少了，基本上会集中在头部几家了。
以前的话，你会发现二三年、二四年就是百花齐放，嗯，有的STARTUP有很多说自己做什么模型，嗯，然后中场的话也说自己做什么模型，比如说DATA BREAKS当时就收了一家公司，然后专门去做这个他自己的模型。
以前的话，你会发现二三年、二四年就是百花齐放，嗯，有的STARTUP有很多说自己做什么模型，嗯，然后中场的话也说自己做什么模型，比如说DATA BREAKS当时就收了一家公司，然后专门去做这个他自己的模型。
嗯啊，但是你到了二五年、到了二六年，他们的声音都已经不见了。
嗯啊，但是你到了二五年、到了二六年，他们的声音都已经不见了。
就不再说自己做什么什么模型，然后只有什么头部的大厂，像啊御三家，然后再加上META、MICROSOFT、AM总这些稍微比较有雄厚资本的还在继续做以外，基本基本上其他的很少能看到的。
就不再说自己做什么什么模型，然后只有什么头部的大厂，像啊御三家，然后再加上META、MICROSOFT、AM总这些稍微比较有雄厚资本的还在继续做以外，基本基本上其他的很少能看到的。
这是一个比较非常明显的变化。
这是一个比较非常明显的变化。
因为人才都已经被聚集了、集中了。
因为人才都已经被聚集了、集中了。
呃。
呃。
是这样能这样，我觉得人都是占。
是这样能这样，我觉得人都是占。
small fraction 主要是 gpu 如果你要做一个特别 comprehensive 或者 general 一个比较好的模型，基本上你耗费的 gpu 的资源的话，是所有中场 startup 已经玩不起的了。
small fraction 主要是 gpu 如果你要做一个特别 comprehensive 或者 general 一个比较好的模型，基本上你耗费的 gpu 的资源的话，是所有中场 startup 已经玩不起的了。
对 gpu 的成本其实比人才的成本还还要贵，起码贵10到100倍之间的呀。
对 gpu 的成本其实比人才的成本还还要贵，起码贵10到100倍之间的呀。
因为我们现在所有模型的话都是需要，然后就是上10万张卡。
因为我们现在所有模型的话都是需要，然后就是上10万张卡。
那这个量级的话其实比。
那这个量级的话其实比。
一整个团队都要贵，会很多。
一整个团队都要贵，会很多。
第二点的话就是我觉得还是受益于这个REASONING，或者说THINKING MODE，然后导致这个你可以把TEST TIME的一个它的一个PERFORMANCE通过无限的延长它的REASONING，能够把它的PERFORMANCE提得越来越高。
第二点的话就是我觉得还是受益于这个REASONING，或者说THINKING MODE，然后导致这个你可以把TEST TIME的一个它的一个PERFORMANCE通过无限的延长它的REASONING，能够把它的PERFORMANCE提得越来越高。
这个是现在能够实现的。
这个是现在能够实现的。
那也就是说你在一个固定MODEL的情况下的话，可以通过玩。
那也就是说你在一个固定MODEL的情况下的话，可以通过玩。
各种 test time kind of scaling，或者是加一些 harness，然后让它的 performance 的话比它原先的 model 表现的要更好。
各种 test time kind of scaling，或者是加一些 harness，然后让它的 performance 的话比它原先的 model 表现的要更好。
那对比一下就是，如果你单纯用 cloud 去做一件事情，你会发现你能做的事情是非常有限的。
那对比一下就是，如果你单纯用 cloud 去做一件事情，你会发现你能做的事情是非常有限的。
但如果你给他加一个很好的环境，嗯，一个 harness，嗯，你就可以让他去做成 call code，或者是 cloud cowork。
但如果你给他加一个很好的环境，嗯，一个 harness，嗯，你就可以让他去做成 call code，或者是 cloud cowork。
那这些的话是能够真正的去给你带来生产力的提升，或者是完成一件事情的。
那这些的话是能够真正的去给你带来生产力的提升，或者是完成一件事情的。
我翻译一下，就可能就是从底层技术来说的话，就是 scaling law 已经越来越，它的 roi 没那么高了，然后可能在产品层面上面，你可能做更多的一个优化，因为现在大家都是正经的不是研究机构了，是正经我们要有收入，然后有客户的，所以我们在成本上面能够更加好的考量，就是怎么样做你刚刚讲的这个 harness 更好的产品，来给客户来用。
我翻译一下，就可能就是从底层技术来说的话，就是 scaling law 已经越来越，它的 roi 没那么高了，然后可能在产品层面上面，你可能做更多的一个优化，因为现在大家都是正经的不是研究机构了，是正经我们要有收入，然后有客户的，所以我们在成本上面能够更加好的考量，就是怎么样做你刚刚讲的这个 harness 更好的产品，来给客户来用。
这个所谓的 harness 的话，就相当于我根据客户的这个 use case 来去给他。
这个所谓的 harness 的话，就相当于我根据客户的这个 use case 来去给他。
加各种的环境，加各种的限制，避免模型里面一些不太好的地方，然后发挥它的长处，真的变成一个产品。
加各种的环境，加各种的限制，避免模型里面一些不太好的地方，然后发挥它的长处，真的变成一个产品。
嗯，对，然后在这个过程的话，你会发现就是你要做一件一件事情的话，它的TOKEN的消耗量比以前要多很多，比单纯的这种CONVERSATION CHATBOT要高至少一个数量级，甚至两个数量级。
嗯，对，然后在这个过程的话，你会发现就是你要做一件一件事情的话，它的TOKEN的消耗量比以前要多很多，比单纯的这种CONVERSATION CHATBOT要高至少一个数量级，甚至两个数量级。
嗯，对，所以这个为什么现在。
嗯，对，所以这个为什么现在。
所有的大厂，嗯，包括像CLUB，然后然后AI他们的话都会非常缺算力，因为这方面的应用越来越多了。
所有的大厂，嗯，包括像CLUB，然后然后AI他们的话都会非常缺算力，因为这方面的应用越来越多了。
嗯嗯，所以我今年其实最大的一个观察是我感觉黄仁勋他第一次他不用说是在台上PITCH的非常的狠，说这个AI就是未来，AI一定能给你这个，他不用再讲ROI了。
嗯嗯，所以我今年其实最大的一个观察是我感觉黄仁勋他第一次他不用说是在台上PITCH的非常的狠，说这个AI就是未来，AI一定能给你这个，他不用再讲ROI了。
嗯，不要穿因为市场已经告诉大家。
嗯，不要穿因为市场已经告诉大家。
对，市场已经告诉大家了，而且这个AGENT大家都知道，不管是你的这个输入和输出，它TOKEN都是指数级的增加，嗯，对对对，所以你您今年最大的这个这个观察和这个。
对，市场已经告诉大家了，而且这个AGENT大家都知道，不管是你的这个输入和输出，它TOKEN都是指数级的增加，嗯，对对对，所以你您今年最大的这个这个观察和这个。
嗯，从 gtc 本身的 keynote 和这几天的这个会的观察是什么？
嗯，从 gtc 本身的 keynote 和这几天的这个会的观察是什么？
我确实注意到了黄仁勋用了花了上10分钟时间，专门去介绍一张图。
我确实注意到了黄仁勋用了花了上10分钟时间，专门去介绍一张图。
嗯，比如说 hopper 的这个曲线是怎么样子的，然后再往上是 blackwell 再是 by robin。
嗯，比如说 hopper 的这个曲线是怎么样子的，然后再往上是 blackwell 再是 by robin。
嗯，然后每一条曲线的话都对应的是你用了更新的 gpu 的话，就可以让更多的人成为 free man。
嗯，然后每一条曲线的话都对应的是你用了更新的 gpu 的话，就可以让更多的人成为 free man。
嗯，就是他可以免费用这个服务，但是你完全不用考虑这个 cost 了，你就可以只对那些最高尖端那些 professional user 的话，再去收费。
嗯，就是他可以免费用这个服务，但是你完全不用考虑这个 cost 了，你就可以只对那些最高尖端那些 professional user 的话，再去收费。
这样的话能让你的这个 product 的 go to market 也非常好做。
这样的话能让你的这个 product 的 go to market 也非常好做。
对对，但这个必须使用到最新的 gpu。
对对，但这个必须使用到最新的 gpu。
对，这个是非常这个 appeal 你的，说实话。
对，这个是非常这个 appeal 你的，说实话。
但是要实现这一点的话，我说实话。
但是要实现这一点的话，我说实话。
如果没有很好的 infrastructure 也就是那些 software layer。
如果没有很好的 infrastructure 也就是那些 software layer。
对，就是你们在做的这一层。
对，就是你们在做的这一层。
对。
对。
就是我们经常会讨论一个问题，就是，我同样一个 traffic 一个 sla request request from the customer.
就是我们经常会讨论一个问题，就是，我同样一个 traffic 一个 sla request request from the customer.
我到底是用 h 200还是用 b 200？
我到底是用 h 200还是用 b 200？
然后你要在每一个 gpu 上面的话做最好的配置，然后再去比较哪一个 gpu 的话，它的 cost effective 会更高一点。
然后你要在每一个 gpu 上面的话做最好的配置，然后再去比较哪一个 gpu 的话，它的 cost effective 会更高一点。
然后你会发现如果有些 setting 没有做好的话，其实 blackwell 它的 cost values 没有更好。
然后你会发现如果有些 setting 没有做好的话，其实 blackwell 它的 cost values 没有更好。
对，所以必须得拥有比较好的 system level 的这种 software 才能，这个 blackwell 才能发挥它的作用。
对，所以必须得拥有比较好的 system level 的这种 software 才能，这个 blackwell 才能发挥它的作用。
对，因为他今天那张图嘛，他就是他分了四层，好像是，然后免费，然后是 low 然后是 medium，high 和 premium，premium。
对，因为他今天那张图嘛，他就是他分了四层，好像是，然后免费，然后是 low 然后是 medium，high 和 premium，premium。
对对对，然后分着几层。
对对对，然后分着几层。
然后其实就跟这个，我不知道，可能市场成熟度相关吧，你可能这个慢慢的怎么样能够就变成了一个产品，它并不是这个单位里面这个耗电量，然后我们产出的 TOKEN 或它的这个价值。
然后其实就跟这个，我不知道，可能市场成熟度相关吧，你可能这个慢慢的怎么样能够就变成了一个产品，它并不是这个单位里面这个耗电量，然后我们产出的 TOKEN 或它的这个价值。
它是怎么样这个不同的这计算出来的，我觉得我们可能从去之前我们这个 TOKEN 的单位价值，我们想在企业里怎么最后换算成企业的 ROI 嗯，然后现在把它更加量化了，更加细致的这个分布。
它是怎么样这个不同的这计算出来的，我觉得我们可能从去之前我们这个 TOKEN 的单位价值，我们想在企业里怎么最后换算成企业的 ROI 嗯，然后现在把它更加量化了，更加细致的这个分布。
你看一个客户过来给你们的诉求，然后他怎么样能够真正把这个钱赚回来。
你看一个客户过来给你们的诉求，然后他怎么样能够真正把这个钱赚回来。
对。
对。
其实在昨天的那个，他跟好几个 open source model 的那个 CEO 一块也在聊嘛，对。
其实在昨天的那个，他跟好几个 open source model 的那个 CEO 一块也在聊嘛，对。
然后他其中举的一个例子就是，比如说是这个，从这个小龙虾这个 agent 来看的话。
然后他其中举的一个例子就是，比如说是这个，从这个小龙虾这个 agent 来看的话。
比如要烧那50刀的这个 TOKEN 嗯，他就得做出比如说是这个51块钱的这个营收，然后你才能 make sense 你烧这么多钱，是吧？
比如要烧那50刀的这个 TOKEN 嗯，他就得做出比如说是这个51块钱的这个营收，然后你才能 make sense 你烧这么多钱，是吧？
对要不然反过来其实大家已经现在就是就算的还是蛮清楚的了然后所以中间很重要的这层就是你们正在做的这个工作怎么样去给大家调度好然后你们在这一层上面是现在是怎么做的因为这个竞争对手也蛮多的像TOGETHER AI SENSE然后包括英伟达的亲儿子CALL ME这些呃也也是一个VERY WELL FOUNDED的这个公司。
对要不然反过来其实大家已经现在就是就算的还是蛮清楚的了然后所以中间很重要的这层就是你们正在做的这个工作怎么样去给大家调度好然后你们在这一层上面是现在是怎么做的因为这个竞争对手也蛮多的像TOGETHER AI SENSE然后包括英伟达的亲儿子CALL ME这些呃也也是一个VERY WELL FOUNDED的这个公司。
嗯对我可以把这个行业的分布可以稍微再讲一下就是比如说CALL WAVE这一层的话是属于纯机房层嗯他们比较擅长的就是两点第一个是跟老黄搞好关系拿卡。
嗯对我可以把这个行业的分布可以稍微再讲一下就是比如说CALL WAVE这一层的话是属于纯机房层嗯他们比较擅长的就是两点第一个是跟老黄搞好关系拿卡。
那么第二点的话是在市场上去融资，融完资之后的话就开始造机房。
那么第二点的话是在市场上去融资，融完资之后的话就开始造机房。
所以它是属于最底层的这个机房层，然后他在去年的年末的样子，然后又买了一家公司叫VISA的BIAS。
所以它是属于最底层的这个机房层，然后他在去年的年末的样子，然后又买了一家公司叫VISA的BIAS。
应该他给的对象的话就是要帮他去做这个上面的SERVER这一层。
应该他给的对象的话就是要帮他去做这个上面的SERVER这一层。
但是有一点就是VISA的BIAS这个出身的话就是纯做这个SAAS TOOL的，做OBSERVABILITY。
但是有一点就是VISA的BIAS这个出身的话就是纯做这个SAAS TOOL的，做OBSERVABILITY。
他并没有做过任何的做，比如模型的加速这种东西。
他并没有做过任何的做，比如模型的加速这种东西。
所以你会发现在 ai 榜单上的话，v s and bias 那个分数一直都非常难看。
所以你会发现在 ai 榜单上的话，v s and bias 那个分数一直都非常难看。
然后在整个行业里面的话，比较厉害的还是 together ai 嗯，原因的话就是比如说 cto 的话，张策比也是学校出身的这个 professor 然后他的 chief scientist 啊，吹道的话是写 flash attention 的老大哥。
然后在整个行业里面的话，比较厉害的还是 together ai 嗯，原因的话就是比如说 cto 的话，张策比也是学校出身的这个 professor 然后他的 chief scientist 啊，吹道的话是写 flash attention 的老大哥。
所以这个实力的话是在摆在那里摆着，然后因为有这些人在，所以他就要有吸引非常多的这种Talent。
所以这个实力的话是在摆在那里摆着，然后因为有这些人在，所以他就要有吸引非常多的这种Talent。
这为什么我们在每一次打榜单的时候啊，只要有Together在就会变得难一点，然后Five Words的话是在啊Together之后的一个，但是技术还可以对，然后最近出来的像Clarify的话也还不错，然后其他的像。
这为什么我们在每一次打榜单的时候啊，只要有Together在就会变得难一点，然后Five Words的话是在啊Together之后的一个，但是技术还可以对，然后最近出来的像Clarify的话也还不错，然后其他的像。
就是内行上一看就知道，这个这个模型到。
就是内行上一看就知道，这个这个模型到。
这个对于你们来说都不是竞争对手。
这个对于你们来说都不是竞争对手。
对都不是竞争对手。
对都不是竞争对手。
就是从技术上来看的话，就是大概就这么几家是我们觉得还是有点水平的。
就是从技术上来看的话，就是大概就这么几家是我们觉得还是有点水平的。
对，那么这种话情况下你会发现，就是实际上你要面对竞争对手也就那么几个，包括像 GOOGLE 的 TEST 的话，呃，我们其实有跟他们有个单子，就是给他们提供某一些模型，然后他们想打到第一的话，嗯，我们就把我们可以打到第一的那个 DOCK 给他们。
对，那么这种话情况下你会发现，就是实际上你要面对竞争对手也就那么几个，包括像 GOOGLE 的 TEST 的话，呃，我们其实有跟他们有个单子，就是给他们提供某一些模型，然后他们想打到第一的话，嗯，我们就把我们可以打到第一的那个 DOCK 给他们。
这个怎么解释？
这个怎么解释？
这个不是技术的人的话。
这个不是技术的人的话。
比如说GOOGLE和TAS项目，他们也有一个在AI上面的榜单。
比如说GOOGLE和TAS项目，他们也有一个在AI上面的榜单。
然后呢，他们比如说在某些模型上面的话还没有达到第一，那这个时候的话，我们就把我们的这个技术授权给他，然后这样的话他就拿到我们的技术可以达到第一名去。
然后呢，他们比如说在某些模型上面的话还没有达到第一，那这个时候的话，我们就把我们的这个技术授权给他，然后这样的话他就拿到我们的技术可以达到第一名去。
嗯，对，但是他们要的是比如说是像LLAMA这种模型，可能是因为他们跟那个META有一些合作吧，所以想要去。
嗯，对，但是他们要的是比如说是像LLAMA这种模型，可能是因为他们跟那个META有一些合作吧，所以想要去。
PROMOTE拉马的一些模型，所以要在这些模型上面的话要拿到第一名。
PROMOTE拉马的一些模型，所以要在这些模型上面的话要拿到第一名。
所以我们当时就给他做了这些东西，所以就是说相当于啊整个行业里面的话，其实人才分布是比较重要一点的。
所以我们当时就给他做了这些东西，所以就是说相当于啊整个行业里面的话，其实人才分布是比较重要一点的。
就是大公司的话，虽然你看起来它的体量很大，然后理所当然的它应该技术是最好的，但实际上还是看这个。
就是大公司的话，虽然你看起来它的体量很大，然后理所当然的它应该技术是最好的，但实际上还是看这个。
公司有没有把足够的资源放上去？
公司有没有把足够的资源放上去？
嗯，然后招足够好的人，把足够好的人去放在那个地方。
嗯，然后招足够好的人，把足够好的人去放在那个地方。
但如果不是它的一个核心的话，比方说 google 的核心其实在于毕业模型、gemma 这些，那么他在这些 open source model 的这个嗯榜单上面的话，其实并没有花很多足够的人去做，所以并不代表他是最好的。
但如果不是它的一个核心的话，比方说 google 的核心其实在于毕业模型、gemma 这些，那么他在这些 open source model 的这个嗯榜单上面的话，其实并没有花很多足够的人去做，所以并不代表他是最好的。
完全是看这个 market 里面的 competitor 他花了足，是否足够的人才。
完全是看这个 market 里面的 competitor 他花了足，是否足够的人才。
对。
对。
我们刚刚讲了，其实先你得有足够的资金，有卡，你才有人。
我们刚刚讲了，其实先你得有足够的资金，有卡，你才有人。
对，我觉得 influence 的话是一个比较特殊的，就是它不需要你那么多卡，对你也不需要去用卡，也不需要有那么多卡，但是纯粹看就是这个团队本身的一个 talent。
对，我觉得 influence 的话是一个比较特殊的，就是它不需要你那么多卡，对你也不需要去用卡，也不需要有那么多卡，但是纯粹看就是这个团队本身的一个 talent。
如果对这个行业足够熟悉，然后并且很聪明。
如果对这个行业足够熟悉，然后并且很聪明。
嗯，那比方说我们呃 influence，泰克利的话就是16岁就上清华的，他之前也不做这方向。
嗯，那比方说我们呃 influence，泰克利的话就是16岁就上清华的，他之前也不做这方向。
嗯，大概就花了一两个月时间，就把你们所有的都搞明白了，都搞明白了，而且能够做创新。
嗯，大概就花了一两个月时间，就把你们所有的都搞明白了，都搞明白了，而且能够做创新。
嗯，所以这个是比较重要的一点。
嗯，所以这个是比较重要的一点。
那整个其实这个行业其实现在就是分三层，底层就是英伟达它所有的这些硬件，然后中间这种调度系统层就是你们在做的，然后在上面比如像是 OPEN AI、THROPPY，他们就是完全做产品的。
那整个其实这个行业其实现在就是分三层，底层就是英伟达它所有的这些硬件，然后中间这种调度系统层就是你们在做的，然后在上面比如像是 OPEN AI、THROPPY，他们就是完全做产品的。
嗯，对，如果可能对于这个呃整个技术不是特别了解的这个普通的听众来说的话，就把这三个分层得得先了解清楚。
嗯，对，如果可能对于这个呃整个技术不是特别了解的这个普通的听众来说的话，就把这三个分层得得先了解清楚。
对，所以你们在这层就是。
对，所以你们在这层就是。
现在还是蛮缺的，就比如说是你看大家所有都人都在用老黄的GPU，那谁更快？
现在还是蛮缺的，就比如说是你看大家所有都人都在用老黄的GPU，那谁更快？
怎么样去调度？
怎么样去调度？
那这块儿其实就是很多的技术的细节。
那这块儿其实就是很多的技术的细节。
所以我有个最最大的一个问题，就今年老黄他是把这个LPU，就是GROG给收购进来了，嗯，然后大概花了能够有两百亿美元。
所以我有个最最大的一个问题，就今年老黄他是把这个LPU，就是GROG给收购进来了，嗯，然后大概花了能够有两百亿美元。
对，其实行业内部挺多人其实是有一些这个争议，为什么老黄要往这个方面去？
对，其实行业内部挺多人其实是有一些这个争议，为什么老黄要往这个方面去？
去做优化，或者，然后我不知道从你们的这个角度来看的话，你觉得它是一个正常的方向呢？
去做优化，或者，然后我不知道从你们的这个角度来看的话，你觉得它是一个正常的方向呢？
还是其实它就只是一个在消除自己的潜在竞争对手？
还是其实它就只是一个在消除自己的潜在竞争对手？
哦，我觉得是一个非常 make sense 的吧。
哦，我觉得是一个非常 make sense 的吧。
因为呃首先 grok 的话就是本身是非常适合做 decoding 的，因为他把所有的 ram 的话，就是最高带宽的 sram 全部放在了芯片上面去了，然后不是在旁边。
因为呃首先 grok 的话就是本身是非常适合做 decoding 的，因为他把所有的 ram 的话，就是最高带宽的 sram 全部放在了芯片上面去了，然后不是在旁边。
那这样的话，它的带宽非常大。
那这样的话，它的带宽非常大。
就它能够极致优化它的速度。
就它能够极致优化它的速度。
对，这里面有一个比较重要的概念，就是做 decoding 的时候，实际上你是 auto regressive 的，然后你每次只 decode 下一个 token。
对，这里面有一个比较重要的概念，就是做 decoding 的时候，实际上你是 auto regressive 的，然后你每次只 decode 下一个 token。
嗯，所以就会导致，就无论你 batch 要多大。
嗯，所以就会导致，就无论你 batch 要多大。
比如说你 batch 比如说上上千好了，但是你只要 predict 每一个 sequence 的话，只要 predict 下一个 token。
比如说你 batch 比如说上上千好了，但是你只要 predict 每一个 sequence 的话，只要 predict 下一个 token。
那你实际上整个 batch 的话也只要 predict 比如说1000个 tokens。
那你实际上整个 batch 的话也只要 predict 比如说1000个 tokens。
所以它的COMPUTATION实际上是非常少的，但是它比较需要的是把前面所有的KV CASH给搬过来。
所以它的COMPUTATION实际上是非常少的，但是它比较需要的是把前面所有的KV CASH给搬过来。
搬过来之后的话，一起去呃进来之后的话再算下一个。
搬过来之后的话，一起去呃进来之后的话再算下一个。
那KV CASH占到权重比较多一点，那也就是MEMORY占的比较多一点。
那KV CASH占到权重比较多一点，那也就是MEMORY占的比较多一点。
所以它只需要把MEMORY做得很大，但是COMPUTATION就是并行计算那部分的话可以缩小，这样的话就能够优化这个DECODING这个部分的速度。
所以它只需要把MEMORY做得很大，但是COMPUTATION就是并行计算那部分的话可以缩小，这样的话就能够优化这个DECODING这个部分的速度。
那么这个时候的话你会发现就是。
那么这个时候的话你会发现就是。
Gpu 它擅长的其实是 computation，也就是并行计算。
Gpu 它擅长的其实是 computation，也就是并行计算。
它的 ram 的话是靠的hbm，也就是在周芯片周围的那那一圈的这个 hbm。
它的 ram 的话是靠的hbm，也就是在周芯片周围的那那一圈的这个 hbm。
然后它进到那个芯片里面去的话，是要走一个transfer 的，那个 transfer 的速度的话是个瓶颈。
然后它进到那个芯片里面去的话，是要走一个transfer 的，那个 transfer 的速度的话是个瓶颈。
所以它是非常适合的是你把东西端搬进去之后，开始做并行计算。
所以它是非常适合的是你把东西端搬进去之后，开始做并行计算。
然后这部分越快越好。
然后这部分越快越好。
那 gpu 的话就最擅长的是把前面的 prefilling 给它做好。
那 gpu 的话就最擅长的是把前面的 prefilling 给它做好。
所以我们相当于是前面的历史部分的话，context 部分的话用的是 profile，放在 gpu 上面。
所以我们相当于是前面的历史部分的话，context 部分的话用的是 profile，放在 gpu 上面。
这个是放 gpu 上面，然后真的要到 decoding 的时候的话，我就转到这个 lpu 上面，这样的话 decoding 会非常快。
这个是放 gpu 上面，然后真的要到 decoding 的时候的话，我就转到这个 lpu 上面，这样的话 decoding 会非常快。
这两个组合的话，是一个目前做推理，尤其是长 sequence 推理的话，是一个最好的组合。
这两个组合的话，是一个目前做推理，尤其是长 sequence 推理的话，是一个最好的组合。
所以我觉得老黄是把这点看准了，就是未来一定，因为你要不停的 scaling 这个 test time，然后 sequence 只会越来越长。
所以我觉得老黄是把这点看准了，就是未来一定，因为你要不停的 scaling 这个 test time，然后 sequence 只会越来越长。
那么这个时候的话，这个组合的话能够保证他的江湖地位。
那么这个时候的话，这个组合的话能够保证他的江湖地位。
因为我我在也他的那个一个媒体的这个 Q&A session 的时候，其实这个是被大家问的最多的问题。
因为我我在也他的那个一个媒体的这个 Q&A session 的时候，其实这个是被大家问的最多的问题。
老黄自己当时是在这个媒体会上是直接说，啊，我只是看他是一个新的生出来的这样增长的一个领域，啊，并没有把我的未来全都放在，压住在这个上面。
老黄自己当时是在这个媒体会上是直接说，啊，我只是看他是一个新的生出来的这样增长的一个领域，啊，并没有把我的未来全都放在，压住在这个上面。
呃，就没有说把它作为一个很大的策略在说，啊，就我们只是这一方面，我们只是把它 cover 到了这个需求。
呃，就没有说把它作为一个很大的策略在说，啊，就我们只是这一方面，我们只是把它 cover 到了这个需求。
但有一种可能性是他当时的确没有想到 opencl 这些东西的诞生，然后也没有想到就是 agent 会进步的这么快。
但有一种可能性是他当时的确没有想到 opencl 这些东西的诞生，然后也没有想到就是 agent 会进步的这么快。
然后这个 token 消耗量的话一下子暴涨，这个东西是他有可能他当时在去年年底的时候也没有想到的。
然后这个 token 消耗量的话一下子暴涨，这个东西是他有可能他当时在去年年底的时候也没有想到的。
然后另外一方面的话，也有可能是他故意就是。
然后另外一方面的话，也有可能是他故意就是。
故作轻松，然后不想不想告诉你全部。
故作轻松，然后不想不想告诉你全部。
对对，但的确是OPEN CLOUD这种东西的诞生的话，会让很多人觉得就是TOKEN消耗量比以前真的不是一个量级的。
对对，但的确是OPEN CLOUD这种东西的诞生的话，会让很多人觉得就是TOKEN消耗量比以前真的不是一个量级的。
嗯，对我们有个非常深刻体会，就是我们也拿OPEN CLOUD来去做一些自动化的部署。
嗯，对我们有个非常深刻体会，就是我们也拿OPEN CLOUD来去做一些自动化的部署。
但是OPEN CLOUD最大的问题就是跑一晚上，基本上你会把所有TOKEN，就是所有的八节都给消消耗掉了。
但是OPEN CLOUD最大的问题就是跑一晚上，基本上你会把所有TOKEN，就是所有的八节都给消消耗掉了。
但是如果人用的话，可能要一个月都用不完。
但是如果人用的话，可能要一个月都用不完。
这样的话，就相当于如果真的要用到OPEN CALL这种自动化的意见来去不停地为我们去工作的话，那这个TOKEN的消耗量的话，会使人能够消耗量的一百倍都不止。
这样的话，就相当于如果真的要用到OPEN CALL这种自动化的意见来去不停地为我们去工作的话，那这个TOKEN的消耗量的话，会使人能够消耗量的一百倍都不止。
所以这就是为什么，就是啊，老黄如果他要在未来的话继续占住这个他们的地位的话，就必须得把这个推理的成本要到更加低，对，这是一个未来的趋势。
所以这就是为什么，就是啊，老黄如果他要在未来的话继续占住这个他们的地位的话，就必须得把这个推理的成本要到更加低，对，这是一个未来的趋势。
也许他在去年年底的时候已经看出来。
也许他在去年年底的时候已经看出来。
看出来了。
看出来了。
但对于你们来说，你们觉得这个完全是一个正确的一个策略方向。
但对于你们来说，你们觉得这个完全是一个正确的一个策略方向。
嗯，老黄呢？
嗯，老黄呢？
现在这样子一个GROK加上这个VIRAL RUBIN的这样的几个7个芯片在一块儿。
现在这样子一个GROK加上这个VIRAL RUBIN的这样的几个7个芯片在一块儿。
嗯嗯，如果你看另外一个采访，就是DIMEY的那个嗯一些采访的话，你会发现他们也会明显的把EFFORTLESS的话都放在了推理上面了。
嗯嗯，如果你看另外一个采访，就是DIMEY的那个嗯一些采访的话，你会发现他们也会明显的把EFFORTLESS的话都放在了推理上面了。
他们明确讲的就是，比如现在的话，你会看到所有的模型嗯在榜单上面的话，大概就是几百个TOKEN。
他们明确讲的就是，比如现在的话，你会看到所有的模型嗯在榜单上面的话，大概就是几百个TOKEN。
每秒，那么最快的是GPT6SS，嗯，可能达到900到1000，这已经是最快的了。
每秒，那么最快的是GPT6SS，嗯，可能达到900到1000，这已经是最快的了。
但实际上到了未来的话，比如说一两年之内的话，嗯，他们认为必须得到比如说10K的TOKENS每秒才能够满足所有人对于A整的需求。
但实际上到了未来的话，比如说一两年之内的话，嗯，他们认为必须得到比如说10K的TOKENS每秒才能够满足所有人对于A整的需求。
那么这样的话就必须得涨至少10倍以上，所以必须得用这种LP这种新的东西。
那么这样的话就必须得涨至少10倍以上，所以必须得用这种LP这种新的东西。
明白明白。
明白明白。
现在 gpu 有点像分诊台了是吧？
现在 gpu 有点像分诊台了是吧？
哈哈哈。
哈哈哈。
然后再把它再去分到，比如说是可能你要看这边的专家的话，然后就是等于像是 lpu 你就你快速的就把它这个看完了。
然后再把它再去分到，比如说是可能你要看这边的专家的话，然后就是等于像是 lpu 你就你快速的就把它这个看完了。
有点像是 gpu 负责的是前面的读取，读完之后再分给 lpu 再开始做 generation 所以因为 gpu 的话，它比较擅长是把前面所有东西快速的影。
有点像是 gpu 负责的是前面的读取，读完之后再分给 lpu 再开始做 generation 所以因为 gpu 的话，它比较擅长是把前面所有东西快速的影。
就是并行的读完，但是后面的这个单步的 sequential 的 decoding 的话，就是 lp 更更擅长一些。
就是并行的读完，但是后面的这个单步的 sequential 的 decoding 的话，就是 lp 更更擅长一些。
明白。
明白。
那我们再说一下那个 tp，有比如说 google 的这个，嗯，就大家其实最近也在讨论的蛮多的。
那我们再说一下那个 tp，有比如说 google 的这个，嗯，就大家其实最近也在讨论的蛮多的。
嗯，所以从你们的这个角度看，它未来可能会是一个潜在的对英伟达的生态系统的一个很强有力的竞争对手吗？
嗯，所以从你们的这个角度看，它未来可能会是一个潜在的对英伟达的生态系统的一个很强有力的竞争对手吗？
会是会是。
会是会是。
呃，实际上 grok 的 founder 的话就是从。
呃，实际上 grok 的 founder 的话就是从。
Tpu 出来的，对。
Tpu 出来的，对。
但是有个问题就是，有生态的问题，就是 tpu 到现在为止都只卖给大的弊端。
但是有个问题就是，有生态的问题，就是 tpu 到现在为止都只卖给大的弊端。
必须。
必须。
它没有什么生态是吧？
它没有什么生态是吧？
它没有任何的生态，就是只能是定向的，比如说给。
它没有任何的生态，就是只能是定向的，比如说给。
anthropic，然后提供这些，然后 anthropic 的话，内部人会了之后的话，他就能去使用。
anthropic，然后提供这些，然后 anthropic 的话，内部人会了之后的话，他就能去使用。
但是啊，你放在其他公司的话。
但是啊，你放在其他公司的话。
没有人会。
没有人会。
就今年是 google 的20周年是吧？
就今年是 google 的20周年是吧？
黄仁勋也在发布会上说了很多，他们更新了很多不同的细分领域的 library，这个图书馆。
黄仁勋也在发布会上说了很多，他们更新了很多不同的细分领域的 library，这个图书馆。
老黄在说了一句话，我觉得其实对于这个所有的 founder 还是触动蛮大的。
老黄在说了一句话，我觉得其实对于这个所有的 founder 还是触动蛮大的。
就他们当时在做库达的时候，其实库达对他们来说是零收入，但他们占用他们90%的这个成本。
就他们当时在做库达的时候，其实库达对他们来说是零收入，但他们占用他们90%的这个成本。
嗯，我觉得一般的 founder 你能做出这样子的一个很有魄力的决策还是挺难的。
嗯，我觉得一般的 founder 你能做出这样子的一个很有魄力的决策还是挺难的。
展开剩余字幕（还有 302 条）
就是刚刚又回到了我们这个这个聊 tpu 这块，就你如果没有生态系统的话，你没有把这一步做出来，你可能在推广上面还是挺难的，让大家都把你用起来。
就是刚刚又回到了我们这个这个聊 tpu 这块，就你如果没有生态系统的话，你没有把这一步做出来，你可能在推广上面还是挺难的，让大家都把你用起来。
嗯，对，是的，这个都需要时间。
嗯，对，是的，这个都需要时间。
但是至少 TPU 能让一些大户人家先用起来。
但是至少 TPU 能让一些大户人家先用起来。
大户人家，对，像 OpenAI 跟 Anthropic，然后他们先用的话，那个量也挺大的。
大户人家，对，像 OpenAI 跟 Anthropic，然后他们先用的话，那个量也挺大的。
这也是一条策略，说实话，因为现在闭眼模型还是势头比较猛的，他们长得比较快，然后他们消耗量也相对来说是大很多的。
这也是一条策略，说实话，因为现在闭眼模型还是势头比较猛的，他们长得比较快，然后他们消耗量也相对来说是大很多的。
那么只要他们能持续的去用这个，就是越来越多的这种大户人家用 TPU 的话，那这部分收入也是一个非常可观的收入。
那么只要他们能持续的去用这个，就是越来越多的这种大户人家用 TPU 的话，那这部分收入也是一个非常可观的收入。
哎，所以如果从速度或者是这个调频来说，可能是TPU还是为他们这种，比如说是还是Taylor的比较多，这个专门量身定做的比较多。
哎，所以如果从速度或者是这个调频来说，可能是TPU还是为他们这种，比如说是还是Taylor的比较多，这个专门量身定做的比较多。
所以他们的速度还是会比较快。
所以他们的速度还是会比较快。
他们的速度其实跟VeryRubbing相比就还是至少这一代应该没有优势了。
他们的速度其实跟VeryRubbing相比就还是至少这一代应该没有优势了。
OK，对跟Blackwell是B200是持平的，跟B300还是有差距。
OK，对跟Blackwell是B200是持平的，跟B300还是有差距。
所以并不是说它有特别大的领先优势，但毕竟还是更便宜。
所以并不是说它有特别大的领先优势，但毕竟还是更便宜。
对，他们价格是至少1/2的样子。
对，他们价格是至少1/2的样子。
对，因为我我也做了一下功课，我觉得如果可能对行业外的这个听众朋友们来讲的话，就把这个 gpu、tpu 和 lpu 我们要做个很通俗易懂的这个比喻来说啊，你可以纠正我。
对，因为我我也做了一下功课，我觉得如果可能对行业外的这个听众朋友们来讲的话，就把这个 gpu、tpu 和 lpu 我们要做个很通俗易懂的这个比喻来说啊，你可以纠正我。
gpu 有点像是这个非常全能的中央厨房，然后你可以做很多现炒，你接受什么样的菜单都可以，它的生态非常的这个完善，然后什么佐料，什么这个材料都有。
gpu 有点像是这个非常全能的中央厨房，然后你可以做很多现炒，你接受什么样的菜单都可以，它的生态非常的这个完善，然后什么佐料，什么这个材料都有。
tpu 就 google 的这个，它可能更加像是专门为这种大户人家，然后量身定做的，他们的需求啊什么都跑得非常的顺。
tpu 就 google 的这个，它可能更加像是专门为这种大户人家，然后量身定做的，他们的需求啊什么都跑得非常的顺。
就比如说打个不恰当的比喻，就有点像是可能呃西贝的这个预制菜和他们的这个门店，其实整个流程会非常的这个流流畅，非常的顺。
就比如说打个不恰当的比喻，就有点像是可能呃西贝的这个预制菜和他们的这个门店，其实整个流程会非常的这个流流畅，非常的顺。
你什么是在这个厨房工厂里面做好的，然后你在门店里面怎么样炒更快一点，这是非常的这个流畅。
你什么是在这个厨房工厂里面做好的，然后你在门店里面怎么样炒更快一点，这是非常的这个流畅。
但可能如果到了 lpu，它有点像是是麦当劳了，然后基本上全部都是预预制菜，然后速冻的，你到现场你直接加工就非常快。
但可能如果到了 lpu，它有点像是是麦当劳了，然后基本上全部都是预预制菜，然后速冻的，你到现场你直接加工就非常快。
确实，嗯，lpu 最擅长就是把这个。
确实，嗯，lpu 最擅长就是把这个。
Sequence 做的比较快一点。
Sequence 做的比较快一点。
嗯，然后啊，gpu 就相当于是一个非常大型的工厂，然后线路的话都是并行的去处理的，这样的话能够一次性把所有的 input 都给处理完。
嗯，然后啊，gpu 就相当于是一个非常大型的工厂，然后线路的话都是并行的去处理的，这样的话能够一次性把所有的 input 都给处理完。
对，就是更加全能。
对，就是更加全能。
但是可能对于不同细分领域的，比如说是可能，像是 agent 啊，像是这个 cla 啊，然后大家就不一定它是最优解。
但是可能对于不同细分领域的，比如说是可能，像是 agent 啊，像是这个 cla 啊，然后大家就不一定它是最优解。
嗯嗯，那我们刚刚讲到，你刚刚讲有一些是大厂啊，然后一些中厂，一些小厂，然后现在大家的这个推理的这些速度啊什么，他们其实是从。
嗯嗯，那我们刚刚讲到，你刚刚讲有一些是大厂啊，然后一些中厂，一些小厂，然后现在大家的这个推理的这些速度啊什么，他们其实是从。
哪一个角度优化的，然后作为他们的这个可能呃自己的这些 edge 刚讲可能有一些用的像是 tpu，然后有一些是大家就是用英伟达的这个 gpu，然后还是像中间 layer，比如像用你们的 together ai 或者是 fireworks 都是一个动态参数。
哪一个角度优化的，然后作为他们的这个可能呃自己的这些 edge 刚讲可能有一些用的像是 tpu，然后有一些是大家就是用英伟达的这个 gpu，然后还是像中间 layer，比如像用你们的 together ai 或者是 fireworks 都是一个动态参数。
是吗？
是吗？
实际上所有的优化都是基于一定的硬件来展开的，比如说现在 h 用的比较多一点，那么在 h 上面。
实际上所有的优化都是基于一定的硬件来展开的，比如说现在 h 用的比较多一点，那么在 h 上面。
搭建起来的这个INFLUENCE的这些嗯，所有的SYSTEM的话是相对来说最健全的。
搭建起来的这个INFLUENCE的这些嗯，所有的SYSTEM的话是相对来说最健全的。
B的话是大概就大户人家的话可能一年前就已经有了，但实际上在这个中小厂里面的话可能就是半年前才慢慢开始有的。
B的话是大概就大户人家的话可能一年前就已经有了，但实际上在这个中小厂里面的话可能就是半年前才慢慢开始有的。
这个时候才慢慢的才能够有一些这种相对应的这个SYSTEM出来。
这个时候才慢慢的才能够有一些这种相对应的这个SYSTEM出来。
也就是说这个GPU底层的话会决定上层，嗯，所以先要拿到这些GPU，然后不停的做实验，然后才能够说OK。
也就是说这个GPU底层的话会决定上层，嗯，所以先要拿到这些GPU，然后不停的做实验，然后才能够说OK。
在这方面的话，能够做的慢慢的比H200上面的话真的要高出两倍以上。
在这方面的话，能够做的慢慢的比H200上面的话真的要高出两倍以上。
因为两倍的话是一个价格差距，嗯，40要必须在两倍以上的话才能够justify。
因为两倍的话是一个价格差距，嗯，40要必须在两倍以上的话才能够justify。
你为什么要用B？
你为什么要用B？
然后我们的话就是要基本上技术迭代的话要分三个layer吧，最底层的话是扩大层的，扩大层的话是需要去写那些呃算子，比如说kernel那些东西。
然后我们的话就是要基本上技术迭代的话要分三个layer吧，最底层的话是扩大层的，扩大层的话是需要去写那些呃算子，比如说kernel那些东西。
最多的算子的话当然就是就是matrix与matrix之间相乘，那个也是。
最多的算子的话当然就是就是matrix与matrix之间相乘，那个也是。
最耗计算量的地方，然后也就是GEMM。
最耗计算量的地方，然后也就是GEMM。
因为不同的模型的话，它的这个GEMM费用有点不一样，所以你要根据不同的模型的这个算子来去稍微调制一下，才能够把它的效能是提到最大。
因为不同的模型的话，它的这个GEMM费用有点不一样，所以你要根据不同的模型的这个算子来去稍微调制一下，才能够把它的效能是提到最大。
所以这个是最底层的扩大层，然后在中间层的话，就是一些跟模型的这些呃EFFICIENCY相关的东西，比方说它有没有用LINEAR LAYER或者LINEAR ATTENTION，这个是在AKIMI。
所以这个是最底层的扩大层，然后在中间层的话，就是一些跟模型的这些呃EFFICIENCY相关的东西，比方说它有没有用LINEAR LAYER或者LINEAR ATTENTION，这个是在AKIMI。
跟 deepseek 用的比较早一点，然后就是 sparsity，然后也是 deepseek 做的比较多一点。
跟 deepseek 用的比较早一点，然后就是 sparsity，然后也是 deepseek 做的比较多一点。
然后后来的话就 gm5的话就完全 adopt 了。
然后后来的话就 gm5的话就完全 adopt 了。
这些东西的话都能够提升性能，然后但是你要把它的 influence 做到更好的话，也需要调里面的非常多细节。
这些东西的话都能够提升性能，然后但是你要把它的 influence 做到更好的话，也需要调里面的非常多细节。
再往上一点点的话，就是也是 deepseek 提出来的，就是用那个 speculative decoding。
再往上一点点的话，就是也是 deepseek 提出来的，就是用那个 speculative decoding。
也不算 deepseek，就是一开始的话就是 research 里面也有很多人提出来了，但是没有真正的用在大模型里面。
也不算 deepseek，就是一开始的话就是 research 里面也有很多人提出来了，但是没有真正的用在大模型里面。
然后 speculative decoding 的话有点像是你用一个小的模型去提前生成一个 sequence。
然后 speculative decoding 的话有点像是你用一个小的模型去提前生成一个 sequence。
因为它模型更小，所以更快一点。
因为它模型更小，所以更快一点。
然后呢，在大的那个模型的话，就能够去看它生成的那些DRAFT选择是否是接受。
然后呢，在大的那个模型的话，就能够去看它生成的那些DRAFT选择是否是接受。
如果直接接受的话，那就自己不用算了。
如果直接接受的话，那就自己不用算了。
对，这样的话就可以让这个大的模型DECORATE得更快一点。
对，这样的话就可以让这个大的模型DECORATE得更快一点。
对，这个东西也是非常能够对那个SUPPORT提高非常非常快，因为只要你的SUSPENSE RATE在2.3以上的话，那你的提升的话基本上有50%以上了。
对，这个东西也是非常能够对那个SUPPORT提高非常非常快，因为只要你的SUSPENSE RATE在2.3以上的话，那你的提升的话基本上有50%以上了。
那么这一层的话也比较多，涉及到就是你要做一个 customization，就是所有的 draft model 是要 train 出来的。
那么这一层的话也比较多，涉及到就是你要做一个 customization，就是所有的 draft model 是要 train 出来的。
那么 train training 这个过程的话，就需要你对这个呃这个模型的 training corpus 有一个比较好的掌握。
那么 train training 这个过程的话，就需要你对这个呃这个模型的 training corpus 有一个比较好的掌握。
所以我看你们也在做这个模模型的 training.
所以我看你们也在做这个模模型的 training.
对，有很多做模型的 training，对。
对，有很多做模型的 training，对。
但还有一些技术的话，就是也是在中间，就是比如说 quantization，然后包括 pruning 这样东西。
但还有一些技术的话，就是也是在中间，就是比如说 quantization，然后包括 pruning 这样东西。
那这个是韩松老师在。
那这个是韩松老师在。
2014年就提出来的，嗯，一开始在CNN上面提出来。
2014年就提出来的，嗯，一开始在CNN上面提出来。
后来的话，在18年、19年，就是韩松进到MIT之后的话，就把这个东西用在了TRANSFORMER里。
后来的话，在18年、19年，就是韩松进到MIT之后的话，就把这个东西用在了TRANSFORMER里。
所以然后这个东西一直到现在为止都还是行业的前沿，就是包括像BLACKWELL最擅长的地方的话，就是做IP4、NBI P4。
所以然后这个东西一直到现在为止都还是行业的前沿，就是包括像BLACKWELL最擅长的地方的话，就是做IP4、NBI P4。
那如果你要把NVIP4真的用上的话，就得把整个模型至少某一部分给它框态成一个IP4的格式，并且保证它不是不掉点。
那如果你要把NVIP4真的用上的话，就得把整个模型至少某一部分给它框态成一个IP4的格式，并且保证它不是不掉点。
那这个过程也不是那么的TRIVIAL，对？
那这个过程也不是那么的TRIVIAL，对？
然后很多厂家其实还在推出的是BF16，然后有一些的话推出的是原生的IP8，但是能够做到原生的IP4，并且完全不掉点的话。
然后很多厂家其实还在推出的是BF16，然后有一些的话推出的是原生的IP8，但是能够做到原生的IP4，并且完全不掉点的话。
非常少，我目前能看到的就是deep c做的比较好，然后open x做的好。
非常少，我目前能看到的就是deep c做的比较好，然后open x做的好。
然后更加往上了一层的话，最最上面一层的话就是各种调度，也就是routing。
然后更加往上了一层的话，最最上面一层的话就是各种调度，也就是routing。
那这里面的话就涉及到就是kv cash跟kv cash a will routing，因为绝大多数的agent的这种task的话，它的cash非常重，因为你的前面的context有很多都重复的，对你得把它review下来才能够提高这个速度，以及比较降低成本。
那这里面的话就涉及到就是kv cash跟kv cash a will routing，因为绝大多数的agent的这种task的话，它的cash非常重，因为你的前面的context有很多都重复的，对你得把它review下来才能够提高这个速度，以及比较降低成本。
那么这个时候的话，就必须得把我之前存的这个相对应的KV开始的GPU给它找到，并且打到那个地方去。
那么这个时候的话，就必须得把我之前存的这个相对应的KV开始的GPU给它找到，并且打到那个地方去。
不然就你如果打到一个新的GPU上面的话，那就找不到那个KV开始了。
不然就你如果打到一个新的GPU上面的话，那就找不到那个KV开始了。
所以这个地方的话就属于ROUTING的调度层，大概就是这么三个、三层、三、三层。
所以这个地方的话就属于ROUTING的调度层，大概就是这么三个、三层、三、三层。
对，三层的话都得有，相当于每一层都得听。
对，三层的话都得有，相当于每一层都得听。
因为刚刚讲的是三层嘛，第一层，反正这是硬件层面了，这个反正这个各家这个硬件厂商出什么，你们反正就根据那个上面在做第一层的这个软件的这个调配，然后第二层。
因为刚刚讲的是三层嘛，第一层，反正这是硬件层面了，这个反正这个各家这个硬件厂商出什么，你们反正就根据那个上面在做第一层的这个软件的这个调配，然后第二层。
这个我没有太听明白，不知道能不能通俗易懂的帮我们再比如打个比喻啊什么的。
这个我没有太听明白，不知道能不能通俗易懂的帮我们再比如打个比喻啊什么的。
嗯嗯，第二层的话，比如说 sparsity 这个东西的话，打比方说就是，就是一个模型里面的话，绝大多数的参数其实是没有用的。
嗯嗯，第二层的话，比如说 sparsity 这个东西的话，打比方说就是，就是一个模型里面的话，绝大多数的参数其实是没有用的。
或者说这样说吧，就是我在 decode 每个 token 的时候的话，你其实在 predict 整个 vocabulary 里面所有单词的每一个 probability 然后你选择最有可能那个单词，然后作为下一个输出。
或者说这样说吧，就是我在 decode 每个 token 的时候的话，你其实在 predict 整个 vocabulary 里面所有单词的每一个 probability 然后你选择最有可能那个单词，然后作为下一个输出。
然后这个时候你会发现很多单词都是没有用的。
然后这个时候你会发现很多单词都是没有用的。
然后 quantization 就更像，是我在表示一个数字的时候，我的精度可以是最高的 ip 32。
然后 quantization 就更像，是我在表示一个数字的时候，我的精度可以是最高的 ip 32。
那这样的话，competition 比较重，然后把它减到 bf 16，然后相当于我用一半的存储空间来去表示这一个数字。
那这样的话，competition 比较重，然后把它减到 bf 16，然后相当于我用一半的存储空间来去表示这一个数字。
当然你的计算量的话也相应就是减半了。
当然你的计算量的话也相应就是减半了。
嗯，然后可以再再砍一一半变成 ip eight。
嗯，然后可以再再砍一一半变成 ip eight。
但是呢，我依然能够大概去表示出来这个数字，可能有一些精度上的损失，但是对于整个模型来说是 ok 的，因为模型太大了。
但是呢，我依然能够大概去表示出来这个数字，可能有一些精度上的损失，但是对于整个模型来说是 ok 的，因为模型太大了。
那么多数字，然后每个数字稍微少一点，那么差一点也没什么关系。
那么多数字，然后每个数字稍微少一点，那么差一点也没什么关系。
所以IPA到现在为止的话也是VALIDATE它不怎么掉精度了。
所以IPA到现在为止的话也是VALIDATE它不怎么掉精度了。
最后一个的话就是IP FOUR，那就是砍到只剩下四个PRECISION了。
最后一个的话就是IP FOUR，那就是砍到只剩下四个PRECISION了。
那这个时候的话，相当于我可以把整个模型的赛赛变变成一半。
那这个时候的话，相当于我可以把整个模型的赛赛变变成一半。
但是如果你是单个的数字的话，COMPUTATION就变成了一半。
但是如果你是单个的数字的话，COMPUTATION就变成了一半。
但如果你是两个矩阵相乘。
但如果你是两个矩阵相乘。
那 competition 就是变成1/4了。
那 competition 就是变成1/4了。
所以这就是更好的地方，就是，但是 IP four 的话，目前为止在于某些模型是能做得好的，有些模型还是有点掉精度。
所以这就是更好的地方，就是，但是 IP four 的话，目前为止在于某些模型是能做得好的，有些模型还是有点掉精度。
所以他是，所以掉精度，他的最后给产出来的答案，他其实就有的是，我们叫什么片汤话，或者你根本就没有根据我的这个问题的这个核心的意义，给我特别精准的回答。
所以他是，所以掉精度，他的最后给产出来的答案，他其实就有的是，我们叫什么片汤话，或者你根本就没有根据我的这个问题的这个核心的意义，给我特别精准的回答。
他在那个回答上的那个 quality 没有以前好了。
他在那个回答上的那个 quality 没有以前好了。
就是好模型和不好模型中间的差距其实很多是在这里。
就是好模型和不好模型中间的差距其实很多是在这里。
对，是的是的。
对，是的是的。
嗯，对。
嗯，对。
所以 ip4相对来说还是要去调很多东西的。
所以 ip4相对来说还是要去调很多东西的。
当然有一点就是 ip4的话也是跟那个 gpu 有关系，那么 gpu 的话如果你不支持 ip4的计算，也是不能用的。
当然有一点就是 ip4的话也是跟那个 gpu 有关系，那么 gpu 的话如果你不支持 ip4的计算，也是不能用的。
嗯。
嗯。
好几好几，一层一层一层一层。
好几好几，一层一层一层一层。
对对对。
对对对。
然后这就是 quantization 带来的好处，就是减这个 map。
然后这就是 quantization 带来的好处，就是减这个 map。
减整个 memory 的 usage 同时的话能够减这个 computation 然后其他的方法的话，就 speculative decoding 的话，刚才讲过，就是它相当于用一个更小的模型去盖了一个更大的模型。
减整个 memory 的 usage 同时的话能够减这个 computation 然后其他的方法的话，就 speculative decoding 的话，刚才讲过，就是它相当于用一个更小的模型去盖了一个更大的模型。
这个是比较好理解的，然后剩下就是 expert pruning，或者是整个啊 model pruning。
这个是比较好理解的，然后剩下就是 expert pruning，或者是整个啊 model pruning。
model pruning 的话就像是整个模型里面的话，因为有太大了，非常多的冗余的东西。
model pruning 的话就像是整个模型里面的话，因为有太大了，非常多的冗余的东西。
然后把那些的砍掉，但是也不会影响到整个模型的这个 performance。
然后把那些的砍掉，但是也不会影响到整个模型的这个 performance。
那最经典的例子的话就是在 moe 这个环境里面的话，嗯，比方说呃困模型或者 deep c 模型的话，用到的是256个 experts。
那最经典的例子的话就是在 moe 这个环境里面的话，嗯，比方说呃困模型或者 deep c 模型的话，用到的是256个 experts。
然后其中去选择前四个或者前八个，那你会发现256个模型里面，256个experts里面啊，并不是每一个expert都是有用的。
然后其中去选择前四个或者前八个，那你会发现256个模型里面，256个experts里面啊，并不是每一个expert都是有用的。
你可以把一些expert给它砍掉，然后你会发现这个模型还是正常运行。
你可以把一些expert给它砍掉，然后你会发现这个模型还是正常运行。
那这个时候的话，因为你少了这个experts，你不用去算那些experts了，那么也可以去提高这个速度。
那这个时候的话，因为你少了这个experts，你不用去算那些experts了，那么也可以去提高这个速度。
嗯，对，这就是expert pruning。
嗯，对，这就是expert pruning。
那么expert pruning的话也是一样的，就是我们觉得expert pruning如果做得好。
那么expert pruning的话也是一样的，就是我们觉得expert pruning如果做得好。
可能掉一点点精度，但是后来我们在实验之后的话，发现很多现在的 moe，你抽完之后的话，砍掉了一些 experts 之后，完全不掉精度。
可能掉一点点精度，但是后来我们在实验之后的话，发现很多现在的 moe，你抽完之后的话，砍掉了一些 experts 之后，完全不掉精度。
这说明就是在 training 过程中，可能哈，因为 routing 上面训练的不是很好，导致某些 experts 其实没有怎么被训练。
这说明就是在 training 过程中，可能哈，因为 routing 上面训练的不是很好，导致某些 experts 其实没有怎么被训练。
嗯，然后有一些 experts 被用的很多，所以这就是为什么 iso pruning 的话，在我们现在实验里面看到，能够 maintain 这个 performance 同时能够减少 combination。
嗯，然后有一些 experts 被用的很多，所以这就是为什么 iso pruning 的话，在我们现在实验里面看到，能够 maintain 这个 performance 同时能够减少 combination。
就是在 expert 这一层的这个调度上面，其实这一层是很多空间优化的。
就是在 expert 这一层的这个调度上面，其实这一层是很多空间优化的。
对，就是你去医院，就像刚刚讲那个分诊台一样，然后你到底是给到哪个专家，然后这个分诊台它的能力是特别重要。
对，就是你去医院，就像刚刚讲那个分诊台一样，然后你到底是给到哪个专家，然后这个分诊台它的能力是特别重要。
对对对。
对对对。
嗯，也就是说相当于256个 experts 里面有很多都是伪专家，其实没啥用的。
嗯，也就是说相当于256个 experts 里面有很多都是伪专家，其实没啥用的。
然后有些才是真的有用的东西。
然后有些才是真的有用的东西。
ok。
ok。
对，就是这个分诊台有多智能，这个是现在大家正在攻克的，在不断要实验的。
对，就是这个分诊台有多智能，这个是现在大家正在攻克的，在不断要实验的。
对对对。
对对对。
是的是的是的。
是的是的是的。
刚刚讲厚厚一层是那个 kv cash。
刚刚讲厚厚一层是那个 kv cash。
嗯。
嗯。
嗯，然后是那个层面的调度。
嗯，然后是那个层面的调度。
呃，那一层的话就是主要是要要保证前面的 context 如果是相近的话，要被分配到一个相对应的一个 gpu 上面去。
呃，那一层的话就是主要是要要保证前面的 context 如果是相近的话，要被分配到一个相对应的一个 gpu 上面去。
因为只有在那些 gpu 上面的话，才存在了。
因为只有在那些 gpu 上面的话，才存在了。
你的上下文，像对应的这个上下文的可以开始。
你的上下文，像对应的这个上下文的可以开始。
然后如果你黑掉，会黑到的话，你可以非常轻松的把这个拿出来，就不用再重新计算一遍。
然后如果你黑掉，会黑到的话，你可以非常轻松的把这个拿出来，就不用再重新计算一遍。
嗯，就是就像一个这个开大会或者是一个速记员，然后你速记的东西，它其实不用说是你每一次你都往回去全都再看一遍，每个会再重新再看一遍，然后怎么样是把这个速记员记下来的东西更快能被系统明白，然后这个其实是最重最重要的。
嗯，就是就像一个这个开大会或者是一个速记员，然后你速记的东西，它其实不用说是你每一次你都往回去全都再看一遍，每个会再重新再看一遍，然后怎么样是把这个速记员记下来的东西更快能被系统明白，然后这个其实是最重最重要的。
这个。
这个。
更快的去把它 retrieve 回来，嗯，然后直接参与到后面的 decoding 部分。
更快的去把它 retrieve 回来，嗯，然后直接参与到后面的 decoding 部分。
这样的话前面那部分的话都可以省掉时间。
这样的话前面那部分的话都可以省掉时间。
就现在的 inference 的话，比之前两年前要复杂非常多了。
就现在的 inference 的话，比之前两年前要复杂非常多了。
因为当时的话，kb cash 都没有什么。
因为当时的话，kb cash 都没有什么。
都不怎么做，然后每一条 sequence 都是重新去读一遍，然后再开始 decode。
都不怎么做，然后每一条 sequence 都是重新去读一遍，然后再开始 decode。
读一遍这个过程的话非常耗费时间。
读一遍这个过程的话非常耗费时间。
然后现在的话就这部分就非常容易，就，甚至比如说 entropy 的话是最近才 support 的 automatic cash。
然后现在的话就这部分就非常容易，就，甚至比如说 entropy 的话是最近才 support 的 automatic cash。
对，就是2到2026年才 support 这个，在之前的话都没有 automatic cash，你要自己去设计，ok，你这个地方。
对，就是2到2026年才 support 这个，在之前的话都没有 automatic cash，你要自己去设计，ok，你这个地方。
这个 sequence 我要 cash 一下，那个 sequence 我不 cash，你要自己去做这样一个设定。
这个 sequence 我要 cash 一下，那个 sequence 我不 cash，你要自己去做这样一个设定。
但这个非常复杂，说实话。
但这个非常复杂，说实话。
对，我记得去年这时候我还，那个，就可能从我的这个消费者端来看的话，我还不断的要删我这个 chatgpt 里面的这个 memory，它动不动就告诉我你已经100%了，你没有办法再往下再再记录你新的东西了。
对，我记得去年这时候我还，那个，就可能从我的这个消费者端来看的话，我还不断的要删我这个 chatgpt 里面的这个 memory，它动不动就告诉我你已经100%了，你没有办法再往下再再记录你新的东西了。
对，但是下半年基本上这个就没没了。
对，但是下半年基本上这个就没没了。
对。
对。
所以你们在做这个不同的这个优化的时候，你们有没有说是在，比如说是这个延迟啊，或者是那个吞吐啊，或成本之间的一个，你按照什么来做这样子一个权衡的？
所以你们在做这个不同的这个优化的时候，你们有没有说是在，比如说是这个延迟啊，或者是那个吞吐啊，或成本之间的一个，你按照什么来做这样子一个权衡的？
全部都是根据用户的 sla 来决定的。
全部都是根据用户的 sla 来决定的。
如果用户他是一个偏这种 conversation 并且实时交互，那这个时候实际上 ttft 是最重要的，得保证在，比方说。
如果用户他是一个偏这种 conversation 并且实时交互，那这个时候实际上 ttft 是最重要的，得保证在，比方说。
呃，有的是两三百毫秒之内就给它返回了第一个单词。
呃，有的是两三百毫秒之内就给它返回了第一个单词。
那TDFT更重要一点，那相对来说的话，因为你在那个过程中的话，你可以用流式，所以有TPOD，也就是整个的TOKENS每秒，这就不是很重要的。
那TDFT更重要一点，那相对来说的话，因为你在那个过程中的话，你可以用流式，所以有TPOD，也就是整个的TOKENS每秒，这就不是很重要的。
比如一秒钟输出多少个TOKEN其实都不重要，因为因为你输出的那个TOKEN数量的话已经足够它慢慢去读出来了。
比如一秒钟输出多少个TOKEN其实都不重要，因为因为你输出的那个TOKEN数量的话已经足够它慢慢去读出来了。
嗯，所以这个时候，然后整个的速度就没有那么快，没有那么重要。
嗯，所以这个时候，然后整个的速度就没有那么快，没有那么重要。
然后LATENCY也没有那么重要的，因为大部分情况下的话都是我已经生成完了这个TTS，还没有读完，然后这个用户还没有看完。
然后LATENCY也没有那么重要的，因为大部分情况下的话都是我已经生成完了这个TTS，还没有读完，然后这个用户还没有看完。
对，所以你会发现就是只要是跟CONVERSATION相关这些东西的话，实际上啊，第一个单词出现的那个时间是比较重要的，因为它影响到了比如说我。
对，所以你会发现就是只要是跟CONVERSATION相关这些东西的话，实际上啊，第一个单词出现的那个时间是比较重要的，因为它影响到了比如说我。
现在我已经问了一个问题，我得有多快回答，拿到一个第一个单词的回答。
现在我已经问了一个问题，我得有多快回答，拿到一个第一个单词的回答。
然后开始OK.
然后开始OK.
我知道这个回答是这样子的。
我知道这个回答是这样子的。
这也是后来进行优化过的。
这也是后来进行优化过的。
对不对？
对不对？
对对对。
对对对。
然后这个TDP是在这个过程中非常重要。
然后这个TDP是在这个过程中非常重要。
嗯呃，但是如果你是要做一个AGENT，那这个时候的整个LATENCY也很重要，因为对AGENT来说的话，你都是要去等它慢慢去执行，执行完之后最终给一个答案。
嗯呃，但是如果你是要做一个AGENT，那这个时候的整个LATENCY也很重要，因为对AGENT来说的话，你都是要去等它慢慢去执行，执行完之后最终给一个答案。
对，那我不想在这个过程中的话等太久。
对，那我不想在这个过程中的话等太久。
所以就整个执行时间就比较重要一点，所以我就需要去优化这个整个的latency。
所以就整个执行时间就比较重要一点，所以我就需要去优化这个整个的latency。
对对，然后呃这是不同场景。
对对，然后呃这是不同场景。
第二第二点的话就是。
第二第二点的话就是。
就看你的用户愿不愿意去接受这个呃，掉一定的精度。
就看你的用户愿不愿意去接受这个呃，掉一定的精度。
嗯，所以我们所有的方法是分两两个部分，一部分是完全的 LOSSLESS，另外一个方法的话是呃 SOMEWHAT LOSSY，还有一些的话是掉很多，但是你能够通过一个一定的 TRAINING 来啊 RECOVER 回来。
嗯，所以我们所有的方法是分两两个部分，一部分是完全的 LOSSLESS，另外一个方法的话是呃 SOMEWHAT LOSSY，还有一些的话是掉很多，但是你能够通过一个一定的 TRAINING 来啊 RECOVER 回来。
嗯，所以就分三类。
嗯，所以就分三类。
然后那么前面两类的话是不需要任何的 TRAINING 的，然后可能完全不掉或者掉一点点。
然后那么前面两类的话是不需要任何的 TRAINING 的，然后可能完全不掉或者掉一点点。
然后第三类的话，就是我靠一些POST TRAINING能够会给他会cover回来。
然后第三类的话，就是我靠一些POST TRAINING能够会给他会cover回来。
那这样的话，那么第三类很明显就必须得跟这个客户的话去做一个深度定制了。
那这样的话，那么第三类很明显就必须得跟这个客户的话去做一个深度定制了。
那么前面的话就完全不用去管这些，然后掉一点点的话，有些客户也是OK的，因为他那个场景可能没有那么CRITICAL，但他就想要更低的成本。
那么前面的话就完全不用去管这些，然后掉一点点的话，有些客户也是OK的，因为他那个场景可能没有那么CRITICAL，但他就想要更低的成本。
嗯，所以就看这个客户对于精度的要求、对于成本的。
嗯，所以就看这个客户对于精度的要求、对于成本的。
8G 的道理是多的卡多严，然后但是第一种的话还是最多的，因为他还是不希望掉任何精度，然后8G 的也不会说抠到那么程度。
8G 的道理是多的卡多严，然后但是第一种的话还是最多的，因为他还是不希望掉任何精度，然后8G 的也不会说抠到那么程度。
对，ok。
对，ok。
所以，哎，你们的用户的 use case 大概是什么样的一个方向？
所以，哎，你们的用户的 use case 大概是什么样的一个方向？
我觉得分两类吧，两个大类吧，就是第一个大类的话就是完全就是做 interaction 的，就比如说做 conversation 那些。
我觉得分两类吧，两个大类吧，就是第一个大类的话就是完全就是做 interaction 的，就比如说做 conversation 那些。
那这些的话，一般来说要么就是纯文字的，要么就是要接一些 ASR、TTs，然后做语音的交互。
那这些的话，一般来说要么就是纯文字的，要么就是要接一些 ASR、TTs，然后做语音的交互。
这是一个类型。
这是一个类型。
那第二个类型的话，就是做 coding 跟 agent，基本上就是这两类比较多一点。
那第二个类型的话，就是做 coding 跟 agent，基本上就是这两类比较多一点。
然后做 agent 的话，也是各种各样的 agent 的吧，看又是做 browser 的，browser use 那些，就是 browse 一些 website，然后有的话就是做 coding 的，然后有的话就是调一些 tool，它自己有一些 tool。
然后做 agent 的话，也是各种各样的 agent 的吧，看又是做 browser 的，browser use 那些，就是 browse 一些 website，然后有的话就是做 coding 的，然后有的话就是调一些 tool，它自己有一些 tool。
我我感觉未来估计第二类会越来越多一点。
我我感觉未来估计第二类会越来越多一点。
诶，所以其实我最近也有看到，比如说是像我不知道你聊不聊那个Hicks Feel对，然后他们其实就是marketing做得好，然后但是突然出现了好多用户，然后一下就很多并行，然后反而他们就把自己的这个成本招到非常的高，然后反而过来他们在商业模式上面又给大家又是要多收钱，然后就造成了一波的这个用户的非常负面的这个反馈。
诶，所以其实我最近也有看到，比如说是像我不知道你聊不聊那个Hicks Feel对，然后他们其实就是marketing做得好，然后但是突然出现了好多用户，然后一下就很多并行，然后反而他们就把自己的这个成本招到非常的高，然后反而过来他们在商业模式上面又给大家又是要多收钱，然后就造成了一波的这个用户的非常负面的这个反馈。
你觉得这个其实是一个现在的行业发展的一个growing pain吗？
你觉得这个其实是一个现在的行业发展的一个growing pain吗？
还是你怎么看待这个问题？
还是你怎么看待这个问题？
说白了，Hicks Feel的话就是把。
说白了，Hicks Feel的话就是把。
Workflow 做的比较好一点，它用的全部都是 b 端的一些 video model 比方说可灵的，或者是快手的一些模型，然后 vivo 用的比较多一点，然后 sora 也用了一些。
Workflow 做的比较好一点，它用的全部都是 b 端的一些 video model 比方说可灵的，或者是快手的一些模型，然后 vivo 用的比较多一点，然后 sora 也用了一些。
然后把这些的 compose 在一起，然后做一个 workflow 出来，然后有点像是个 agent 的 workflow 那这过程的话其实非常消耗了这个 vm 模型的这些 credits。
然后把这些的 compose 在一起，然后做一个 workflow 出来，然后有点像是个 agent 的 workflow 那这过程的话其实非常消耗了这个 vm 模型的这些 credits。
所以他必须得保证这个消耗的 credits 的话能够 worthwhile 比如说他的。
所以他必须得保证这个消耗的 credits 的话能够 worthwhile 比如说他的。
消费的快点成本的话，要至少小于用户配的那个钱。
消费的快点成本的话，要至少小于用户配的那个钱。
对，但turns out的话，就是现在都是按照subscription来走的。
对，但turns out的话，就是现在都是按照subscription来走的。
对，所以power user的话很容易就用穿掉了。
对，所以power user的话很容易就用穿掉了。
对，所以它也只能给它限制。
对，所以它也只能给它限制。
那一旦限制的话，那么前面的user就会很不开心。
那一旦限制的话，那么前面的user就会很不开心。
对，但是这个一定是要经历的一个阵痛期吧？
对，但是这个一定是要经历的一个阵痛期吧？
因为所有的类似的公司的话，在最开始的时候都得去亏钱。
因为所有的类似的公司的话，在最开始的时候都得去亏钱。
就大家其实就还是没有一个标准的一个playbook，一个玩法，到底我怎么样收钱，然后怎么样去预测我们的这个用户它的增长。
就大家其实就还是没有一个标准的一个playbook，一个玩法，到底我怎么样收钱，然后怎么样去预测我们的这个用户它的增长。
和他们的这个用户用量，所以就基本上这这个是不是也就，你会经常看到你们客户会会发生这种事情。
和他们的这个用户用量，所以就基本上这这个是不是也就，你会经常看到你们客户会会发生这种事情。
对，这是一个非常。
对，这是一个非常。
行业问题。
行业问题。
行业问题是因为 saas 以前嗯把大家用户习惯已经 anchor 到了这个 subscription 上去了。
行业问题是因为 saas 以前嗯把大家用户习惯已经 anchor 到了这个 subscription 上去了。
但是那个时候的成本其实是 negligible 的。
但是那个时候的成本其实是 negligible 的。
但现在的话，你每用一次都是在烧钱。
但现在的话，你每用一次都是在烧钱。
所以 subscription 其实是一个不好的商业的模型。
所以 subscription 其实是一个不好的商业的模型。
更多的应该是按照 usage，按照 completion task 来去做。
更多的应该是按照 usage，按照 completion task 来去做。
api 对，我完成一个 task 我应该收多少钱？
api 对，我完成一个 task 我应该收多少钱？
但这就很让现在的 user 很不能接受嘛。
但这就很让现在的 user 很不能接受嘛。
对，所以就导致了现在一种畸形的这种商业模式。
对，所以就导致了现在一种畸形的这种商业模式。
可能还是在震荡期吧。
可能还是在震荡期吧。
对，还在震荡期。
对，还在震荡期。
其实人是能接受的，比如说律师行业就是按照 hourly pay 的，但是当 ai 做同样的事情的时候，反而不能接受了。
其实人是能接受的，比如说律师行业就是按照 hourly pay 的，但是当 ai 做同样的事情的时候，反而不能接受了。
有没有说是这个好像再快也没有意义的这样子的一些用力。
有没有说是这个好像再快也没有意义的这样子的一些用力。
有，就是刚刚好像是说那个，如果你是做一个语音交互的话，对，那个情况下的话，包括你读文字也是。
有，就是刚刚好像是说那个，如果你是做一个语音交互的话，对，那个情况下的话，包括你读文字也是。
你的速度完全取决于人能 digest 的速度。
你的速度完全取决于人能 digest 的速度。
再快的话，就相当于机器在等人。
再快的话，就相当于机器在等人。
这个时候确实再快就没有什么用。
这个时候确实再快就没有什么用。
但是你切换到 open call 这个场景的话，那快就是好。
但是你切换到 open call 这个场景的话，那快就是好。
因为所有的 tokens 是由机器自己来 consume，然后自己机器自己来去做 decision，那它的时间，它的速度是非常快的。
因为所有的 tokens 是由机器自己来 consume，然后自己机器自己来去做 decision，那它的时间，它的速度是非常快的。
所以这个时候。
所以这个时候。
你要衡量整个task完成时间的话，肯定是就是每一个model它的速度越快越好。
你要衡量整个task完成时间的话，肯定是就是每一个model它的速度越快越好。
因为我也看到很多人他自己不同的这种agent的这种安排形式，比如说用可能最贵然后最聪明的模型做他的管理者，然后下面可能再用不是特别贵的这个模型来做这个每天这个吭哧吭哧干活的这样子的呃这个员工。
因为我也看到很多人他自己不同的这种agent的这种安排形式，比如说用可能最贵然后最聪明的模型做他的管理者，然后下面可能再用不是特别贵的这个模型来做这个每天这个吭哧吭哧干活的这样子的呃这个员工。
呃然后我也看到有一些朋友他们其实就连整个怎么样分配这个事情的这个。
呃然后我也看到有一些朋友他们其实就连整个怎么样分配这个事情的这个。
都会再加一层 layer。
都会再加一层 layer。
我我不知道从你们的这个这这一层来看的话，你觉得这个会是你们可以做优化或者可以做产品的一个层面吗？
我我不知道从你们的这个这这一层来看的话，你觉得这个会是你们可以做优化或者可以做产品的一个层面吗？
嗯。
嗯。
我觉得这就更多的像是一个 harness 该做的事情吧。
我觉得这就更多的像是一个 harness 该做的事情吧。
对，我们做的是每个 commander 自己，他应该有什么样的速度，然后什么样的一个 quality。
对，我们做的是每个 commander 自己，他应该有什么样的速度，然后什么样的一个 quality。
嗯，然后 harness 来自己决定，就是比如说某个 task 的话可以用哪个稍微弱一点的模型。
嗯，然后 harness 来自己决定，就是比如说某个 task 的话可以用哪个稍微弱一点的模型。
嗯，哪些 task 的话必须，比如说做 planning 的话就必须用一个最强的 b 端的，比如 cloud offers 4.7。
嗯，哪些 task 的话必须，比如说做 planning 的话就必须用一个最强的 b 端的，比如 cloud offers 4.7。
来去做，然后他把这个设定好就可以了。
来去做，然后他把这个设定好就可以了。
但是我们有一个产品就是叫 AGENT DATA，然后这个是用来去做 SYNTHESIZE 一些啊 TRAINING DATA 的。
但是我们有一个产品就是叫 AGENT DATA，然后这个是用来去做 SYNTHESIZE 一些啊 TRAINING DATA 的。
然后里面的话，这个 DESIGN 的话是完全是一个有点像是一个 MULTI AGENT HARNESS，然后上层的一些 PLANNING 的 MODEL 的话必须用最好的模型，比方说 CLOUD 最最强的模型，但是底层的一些 EXECUTOR。
然后里面的话，这个 DESIGN 的话是完全是一个有点像是一个 MULTI AGENT HARNESS，然后上层的一些 PLANNING 的 MODEL 的话必须用最好的模型，比方说 CLOUD 最最强的模型，但是底层的一些 EXECUTOR。
一个非常 single 的 component 的 executor 的话，就可以用一些稍微弱一点弱一点模型，也没有什么关系。
一个非常 single 的 component 的 executor 的话，就可以用一些稍微弱一点弱一点模型，也没有什么关系。
嗯，啊，所以这个地方的话，我们的确做了这样一个 design。
嗯，啊，所以这个地方的话，我们的确做了这样一个 design。
对，就如果像是这个黄仁勋说的，然后这个未来推理成本极度下降，然后这个速度极度提升的话，你们觉得可能未来什么样的用户的，他的 use case 呀，或者是你觉得什么东西，或者新的这种东西会发生？
对，就如果像是这个黄仁勋说的，然后这个未来推理成本极度下降，然后这个速度极度提升的话，你们觉得可能未来什么样的用户的，他的 use case 呀，或者是你觉得什么东西，或者新的这种东西会发生？
因为我感觉现在好像限制就是限制在我们自己的想象力上面了。
因为我感觉现在好像限制就是限制在我们自己的想象力上面了。
我觉得是，我觉得现在两个东西上面，一个是开源模型的智力水平。
我觉得是，我觉得现在两个东西上面，一个是开源模型的智力水平。
嗯，对，因为你如果用闭源模型的话，这个 token 消耗量跟它的成本实际上是很多 use case 不能 justify 的，就很多 use case 就是我希望有个 robot 能帮我做了，对，但是它太贵了。
嗯，对，因为你如果用闭源模型的话，这个 token 消耗量跟它的成本实际上是很多 use case 不能 justify 的，就很多 use case 就是我希望有个 robot 能帮我做了，对，但是它太贵了。
啊，这个事情我不如自己做了。
啊，这个事情我不如自己做了。
所以现在 cloud 的话只能是打那种 professional users，因为他的时间相对来说更加贵一点。
所以现在 cloud 的话只能是打那种 professional users，因为他的时间相对来说更加贵一点。
那他就愿意去付这么多成本去做那件事情。
那他就愿意去付这么多成本去做那件事情。
但如果真的要 on block 到，比如说 everyday life 的 task 的话，那可能就是成本是一个非常大的考量点了。
但如果真的要 on block 到，比如说 everyday life 的 task 的话，那可能就是成本是一个非常大的考量点了。
所以毕业模型相对来说成本就是便宜非常多的。
所以毕业模型相对来说成本就是便宜非常多的。
嗯，所以我觉得有一个非常非常大的观察点，就是到去年的年底的时候，呃，这些CODING的模型慢慢就变成了每个人的标配了。
嗯，所以我觉得有一个非常非常大的观察点，就是到去年的年底的时候，呃，这些CODING的模型慢慢就变成了每个人的标配了。
原因是他确实能做非常多就是CODING ENGINEER想做的那些事情了。
原因是他确实能做非常多就是CODING ENGINEER想做的那些事情了。
然后到今年的话，就已经变成了FORMAL情绪，就是谁不用。
然后到今年的话，就已经变成了FORMAL情绪，就是谁不用。
谁就这，就是被时代抛到后面了。
谁就这，就是被时代抛到后面了。
对，所以转变的非常快。
对，所以转变的非常快。
那如果开源模型也能有这个 turning point 的话，那这个时候模型会慢慢变成一个 commodity 就可以实现了。
那如果开源模型也能有这个 turning point 的话，那这个时候模型会慢慢变成一个 commodity 就可以实现了。
那如果真的那个时候到来的话，我觉得可能一年之内吧，开源模型会被用在非常多，各种各样的地方，并且是能够做一些真正的事情的。
那如果真的那个时候到来的话，我觉得可能一年之内吧，开源模型会被用在非常多，各种各样的地方，并且是能够做一些真正的事情的。
模型的 tokens 是一个，有一像像电力系统一样，会 drive 各行各业的东西了。
模型的 tokens 是一个，有一像像电力系统一样，会 drive 各行各业的东西了。
那你觉得现在你们行业里面大家最大的非共识是什么？
那你觉得现在你们行业里面大家最大的非共识是什么？
非共识是感觉开源模型到底能不能够嗯赶得上闭源模型，然后闭源模型到底能不能够到达 agi 那个点吧？
非共识是感觉开源模型到底能不能够嗯赶得上闭源模型，然后闭源模型到底能不能够到达 agi 那个点吧？
或者说什么是 agi？
或者说什么是 agi？
嗯，这个是我感觉很多人有不同的答案吧。
嗯，这个是我感觉很多人有不同的答案吧。
比如说有的人觉得 agi 已经到了，因为确实很多事情已经被替代掉了。
比如说有的人觉得 agi 已经到了，因为确实很多事情已经被替代掉了。
嗯，然后。
嗯，然后。
到底还有没有下个范式？
到底还有没有下个范式？
就如果是现在这个范式下面的话，我感觉更多的像是你的 use case 会不断的被 b 模型吃进去。
就如果是现在这个范式下面的话，我感觉更多的像是你的 use case 会不断的被 b 模型吃进去。
因为它的毕竟有那么多人，然后加上所有资源去做 data 然后把它纳入到下一代产品上去，下一代模型上去。
因为它的毕竟有那么多人，然后加上所有资源去做 data 然后把它纳入到下一代产品上去，下一代模型上去。
更像是在吃 data 然后吃这些 use case。
更像是在吃 data 然后吃这些 use case。
是，但并不是一个本质的 intelligence。
是，但并不是一个本质的 intelligence。
对但是但是其实这个OPEN CALL这一波其实是把这个开源模型整个这些公司其实他们如果没有CALL的话他们可能过两年他们可能就过就会消失的这些公司全都带活了。
对但是但是其实这个OPEN CALL这一波其实是把这个开源模型整个这些公司其实他们如果没有CALL的话他们可能过两年他们可能就过就会消失的这些公司全都带活了。
对嗯。
对嗯。
大家可以看到这个TOKEN可能成百倍的在这个在烧对对然后他们的这个不管是投资他们的市值啊或者他们的这个这个这个故事也都在这两这两这几周。
大家可以看到这个TOKEN可能成百倍的在这个在烧对对然后他们的这个不管是投资他们的市值啊或者他们的这个这个这个故事也都在这两这两这几周。
的事情这几周吧对我觉得这是个好事就是他能让这些开源公司。
的事情这几周吧对我觉得这是个好事就是他能让这些开源公司。
获得更多的资本以及人才。
获得更多的资本以及人才。
对，但我同时也有，比如说是可能我们自己作为一个内容公司，我们自己有一些 use case，然后我也让一些可能没有那么想要花时间去钻研的这个同事们。
对，但我同时也有，比如说是可能我们自己作为一个内容公司，我们自己有一些 use case，然后我也让一些可能没有那么想要花时间去钻研的这个同事们。
然后说你们也可以等等，不用自己先去装小龙虾，让一些模型其实现在马上它的功能就都赶上了。
然后说你们也可以等等，不用自己先去装小龙虾，让一些模型其实现在马上它的功能就都赶上了。
嗯嗯，对，你像像是可能我们自己来说的话，就是大量的去看一些这个什么新闻，然后把它筛选出来最有意义的，然后我们再去做这个选题的构思啊什么，就这块。
嗯嗯，对，你像像是可能我们自己来说的话，就是大量的去看一些这个什么新闻，然后把它筛选出来最有意义的，然后我们再去做这个选题的构思啊什么，就这块。
嗯，我们都不用自己去做小龙虾了，我们其实直接就比如说是像。
嗯，我们都不用自己去做小龙虾了，我们其实直接就比如说是像。
Openai 像什么 cloud 他们都直接有 agent 的模式就直接出来了。
Openai 像什么 cloud 他们都直接有 agent 的模式就直接出来了。
是的是的。
是的是的。
是。
是。
对，我跟老婆也是在讨论这个，她一直在思考为什么大家，就是比如她的朋友圈里面有很多文科生也开始养龙虾，她不能理解为什么他们会搞这种东西，嗯，然后一定需要吗？
对，我跟老婆也是在讨论这个，她一直在思考为什么大家，就是比如她的朋友圈里面有很多文科生也开始养龙虾，她不能理解为什么他们会搞这种东西，嗯，然后一定需要吗？
然后就跟他说，你就用一下 cloud 里面的那个 cowork 对，你就不需要它了。
然后就跟他说，你就用一下 cloud 里面的那个 cowork 对，你就不需要它了。
是，嗯，是。
是，嗯，是。
我觉得可能还是这个文科生终于能够扬眉吐气了的这种感觉。
我觉得可能还是这个文科生终于能够扬眉吐气了的这种感觉。
哈哈哈，是是是是是。
哈哈哈，是是是是是。
对，就是能够玩转一个比较先进的一个科技。
对，就是能够玩转一个比较先进的一个科技。
我觉得还是还是鼓励大家都去试一试的，我觉得上手总是这个没错的，起码也能缓解一些这个焦虑。
我觉得还是还是鼓励大家都去试一试的，我觉得上手总是这个没错的，起码也能缓解一些这个焦虑。
要不然你聊一下你们自己的护城河？
要不然你聊一下你们自己的护城河？
我们最大的护城河还是在于是人，说实话，然后当然每个人都非常的hard working也是非常重要的，因为现在所有东西都进化的太快了。
我们最大的护城河还是在于是人，说实话，然后当然每个人都非常的hard working也是非常重要的，因为现在所有东西都进化的太快了。
对，嗯。
对，嗯。
我感觉除了老黄能够卖 gpu 这个是一个非常大的护城河以外，其他行业每一个都有这样那样的一个不确定性吧。
我感觉除了老黄能够卖 gpu 这个是一个非常大的护城河以外，其他行业每一个都有这样那样的一个不确定性吧。
对。
对。
啊，包括 openai cloud.
啊，包括 openai cloud.
jvm 这个。
jvm 这个。
我觉得他们就完全没有赛出来呢。
我觉得他们就完全没有赛出来呢。
我觉得整个从这个，这一次跟五角大楼的这一次合作，然后包括呃 anthropic 他们在这个专业用户这边的市场份额，嗯，因为他们烧的 token 比普通用户要烧的多的多。
我觉得整个从这个，这一次跟五角大楼的这一次合作，然后包括呃 anthropic 他们在这个专业用户这边的市场份额，嗯，因为他们烧的 token 比普通用户要烧的多的多。
对对对，我觉得这这这场比赛完全没看到那头呢。
对对对，我觉得这这这场比赛完全没看到那头呢。
对还没有看到，对你们来说呢？
对还没有看到，对你们来说呢？
你们觉得最兴奋的地方在哪里？
你们觉得最兴奋的地方在哪里？
我们最兴奋的地方就是在于开业模型的这个TOKEN USAGE确实涨上来了，这是比较对我们来说比较关键的。
我们最兴奋的地方就是在于开业模型的这个TOKEN USAGE确实涨上来了，这是比较对我们来说比较关键的。
然后毕竟基本上所有的我们这一层的都是在做开业模型，基本上变模型是碰不到的，所以。
然后毕竟基本上所有的我们这一层的都是在做开业模型，基本上变模型是碰不到的，所以。
嗯也是希望他能做的越好吧，不然如果真的是那三家dominate的话也是一个不太好的事情吧。
嗯也是希望他能做的越好吧，不然如果真的是那三家dominate的话也是一个不太好的事情吧。
你不管是你的个人的数据啊还是你的这个隐私啊我觉得其实有很多的大家是想拿到手里的我觉得这个可能open call对你们来说也是一个很振奋的时代变革性的东西。
你不管是你的个人的数据啊还是你的这个隐私啊我觉得其实有很多的大家是想拿到手里的我觉得这个可能open call对你们来说也是一个很振奋的时代变革性的东西。
嗯是的嗯好好谢谢金静今天接受我们的采访好谢谢谢谢祝你们越做越好。
嗯是的嗯好好谢谢金静今天接受我们的采访好谢谢谢谢祝你们越做越好。
谢谢谢谢好。
谢谢谢谢好。
今天的科技早知道就到这里了。
今天的科技早知道就到这里了。
听完之后，如果你有任何的想法，欢迎在评论区和我们交流。
听完之后，如果你有任何的想法，欢迎在评论区和我们交流。
；如果有任何想听的话题，也请告诉我们。
；如果有任何想听的话题，也请告诉我们。
如果你喜欢我们的节目，请记得分享给更多的朋友。
如果你喜欢我们的节目，请记得分享给更多的朋友。
那我们下期再见，下期再见。
那我们下期再见，下期再见。
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕，帮助你打破语言障碍，轻松听懂全球优质播客。