本集简介
双语字幕
仅展示文本字幕，不包含中文音频；想边听边看，请使用 Bayt 播客 App。
就有点像我最近可能看一本书，就是这个 the beginning of infinity 对，我我其实看了好几遍，就是他说有两句话要刻在石头上，一句一一句话叫那个问题是不可避免的，但是第二句话是说问题是可以解决。
就有点像我最近可能看一本书，就是这个 the beginning of infinity 对，我我其实看了好几遍，就是他说有两句话要刻在石头上，一句一一句话叫那个问题是不可避免的，但是第二句话是说问题是可以解决。
啊，也也许我我知道有有可能这个雪山它有可能没有尽头，我不知道，就就是，我希望它一直没有尽头，因为因为这样的话就就所谓的 beginning of infinity 就是这个意思，就是它可能是一座无限的山。
啊，也也许我我知道有有可能这个雪山它有可能没有尽头，我不知道，就就是，我希望它一直没有尽头，因为因为这样的话就就所谓的 beginning of infinity 就是这个意思，就是它可能是一座无限的山。
当然这个是这个是 tim 天天跟我讲的，就是说他，你觉得要用这个 io 的方式去管理，而不是用 sft。
当然这个是这个是 tim 天天跟我讲的，就是说他，你觉得要用这个 io 的方式去管理，而不是用 sft。
过去一年，听力也是波峰波谷来回震荡。
过去一年，听力也是波峰波谷来回震荡。
你在这个其中，你的心态是什么样的？
你在这个其中，你的心态是什么样的？
你需要平衡自己的心态吗？
你需要平衡自己的心态吗？
哈喽，大家好，欢迎收听《张小俊商业访谈录》，我是小俊。
哈喽，大家好，欢迎收听《张小俊商业访谈录》，我是小俊。
这是一档由语言及世界工作室出品的深度访谈节目，我们希望和你一起从这里探索新世界。
这是一档由语言及世界工作室出品的深度访谈节目，我们希望和你一起从这里探索新世界。
今天的嘉宾是月之暗面的创始人兼CEO杨智琳，距离她上一次来我们的节目，那还是《商业访谈录》的第59集，已经过去一年半了。
今天的嘉宾是月之暗面的创始人兼CEO杨智琳，距离她上一次来我们的节目，那还是《商业访谈录》的第59集，已经过去一年半了。
就在刚刚过去的7月份，Kimi K2模型发布，引发了比较广泛的关注。
就在刚刚过去的7月份，Kimi K2模型发布，引发了比较广泛的关注。
K2是一个基于MOE架构的开源编程和agentic智能体式的大语言模型。
K2是一个基于MOE架构的开源编程和agentic智能体式的大语言模型。
那今天这期节目呢，我和杨智琳聊了聊K2的研发、技术细节和她当下的技术认知、技术判断，以及在过去这一年的舆论风暴与创业起伏之中，作为创始人，她的心情与思考。
那今天这期节目呢，我和杨智琳聊了聊K2的研发、技术细节和她当下的技术认知、技术判断，以及在过去这一年的舆论风暴与创业起伏之中，作为创始人，她的心情与思考。
哈喽志玲，先给观众朋友们打个招呼。
哈喽志玲，先给观众朋友们打个招呼。
哈喽大家好，在你创业第一年结束的时候，2024年我们访谈报道的标题是向延绵而未知的雪山前进。
哈喽大家好，在你创业第一年结束的时候，2024年我们访谈报道的标题是向延绵而未知的雪山前进。
那现在又过了一年，站在现在此刻2025年7月份，你最新的感受是什么样的？
那现在又过了一年，站在现在此刻2025年7月份，你最新的感受是什么样的？
你刚刚提到这个词，我感觉都是好像过了很久，已经一年多了。
你刚刚提到这个词，我感觉都是好像过了很久，已经一年多了。
AI一天人间一年嘛，所以可能AI的一年我不知道在人间是多少天。
AI一天人间一年嘛，所以可能AI的一年我不知道在人间是多少天。
所以对感觉确实很多东西发生了很多变化但是我觉得那种感觉就是你刚刚说的那种雪山的感觉好像呃倒是差不太多的嗯对就是可可能往山顶的这个过程我们又再走了一段距离。
所以对感觉确实很多东西发生了很多变化但是我觉得那种感觉就是你刚刚说的那种雪山的感觉好像呃倒是差不太多的嗯对就是可可能往山顶的这个过程我们又再走了一段距离。
多远现在行进到哪里。
多远现在行进到哪里。
了对你现在想就确实模型的进步挺大的对吧就是你可能比如两年前这个写一篇文章都写不太明白然后现在他不光可以写很好的文章他能够。
了对你现在想就确实模型的进步挺大的对吧就是你可能比如两年前这个写一篇文章都写不太明白然后现在他不光可以写很好的文章他能够。
呃，连续工作几个小时让你完成一个可能很复杂的代码任务。
呃，连续工作几个小时让你完成一个可能很复杂的代码任务。
我我我觉得这个东西可能在两年前是很难想象，所以我觉得可能就是在一个爬雪山的过程中吧。
我我我觉得这个东西可能在两年前是很难想象，所以我觉得可能就是在一个爬雪山的过程中吧。
然后呢，你解锁了一些、解锁了一些新的这个场景，就你大概知道中间这条路是什么样的。
然后呢，你解锁了一些、解锁了一些新的这个场景，就你大概知道中间这条路是什么样的。
但同时就在往上的过程中，你你你可能还是观察到差不多的景象，就是说。
但同时就在往上的过程中，你你你可能还是观察到差不多的景象，就是说。
也接下来的这个往往上的这个过程它仍然会有很多未知的这种比如技术问题需要去呃需要去解决对就是所以嗯我现在可能大概是这样的感受。
也接下来的这个往往上的这个过程它仍然会有很多未知的这种比如技术问题需要去呃需要去解决对就是所以嗯我现在可能大概是这样的感受。
吧更清晰了还是更迷惘了呀就是在这个我我四下都是雪这个地方。
吧更清晰了还是更迷惘了呀就是在这个我我四下都是雪这个地方。
对我觉得肯定会有很多东西变得更清楚对就就比如说呃可能我觉得在。
对我觉得肯定会有很多东西变得更清楚对就就比如说呃可能我觉得在。
两年之前，这个比如说各种强化学习的这种范式啊，怎么去做让模型有更强的推理能力或者有更强的这种AGENETIC的能力。
两年之前，这个比如说各种强化学习的这种范式啊，怎么去做让模型有更强的推理能力或者有更强的这种AGENETIC的能力。
呃，我觉得在当时可能没有那么清楚，对吧？
呃，我觉得在当时可能没有那么清楚，对吧？
当时可能更多的是说你这个模型的预训练怎么能做得更好，然后呃，当时比如还有可能RHF的这样的技术，能让它的这个。
当时可能更多的是说你这个模型的预训练怎么能做得更好，然后呃，当时比如还有可能RHF的这样的技术，能让它的这个。
呃，在对话的体验里面做得更好。
呃，在对话的体验里面做得更好。
对，但是现在我觉得会有新的一些问题可能得到了答案，但同时这些新的问题它又、它又展开，可能又产生了一些新的别的问题。
对，但是现在我觉得会有新的一些问题可能得到了答案，但同时这些新的问题它又、它又展开，可能又产生了一些新的别的问题。
呃，比如说可能我们今天看到，呃，虽然你可以做这些强化学习，但是你的强化学习可能最终还是依赖于一个很好的评估或者很好的验证。
呃，比如说可能我们今天看到，呃，虽然你可以做这些强化学习，但是你的强化学习可能最终还是依赖于一个很好的评估或者很好的验证。
嗯，呃，比如说你让他去做一个数学题或者一些有TEST CASE的编程。
嗯，呃，比如说你让他去做一个数学题或者一些有TEST CASE的编程。
那可能可以做得比较好，但是如果让他去做一个呃，可能更加复杂的端到端的任务。
那可能可以做得比较好，但是如果让他去做一个呃，可能更加复杂的端到端的任务。
有时候你并不非常容易找到这个评估或者衡量的方式，所以我觉得现在的呃，呃，这个系统可能你会产生一些新的问题，就有点像我最近可能看一本书，就是这个。
有时候你并不非常容易找到这个评估或者衡量的方式，所以我觉得现在的呃，呃，这个系统可能你会产生一些新的问题，就有点像我最近可能看一本书，就是这个。
叫这个THE BEGINNING OF INFINITY，对，我其实看了好几遍。
叫这个THE BEGINNING OF INFINITY，对，我其实看了好几遍。
就是嗯，然后你发现它里面讲的最重要的一个事情，就是说他他说有两句话要刻在石头上，一句一句话叫那个问题是不可避免的，但是第二句话是说问题是可以解决。
就是嗯，然后你发现它里面讲的最重要的一个事情，就是说他他说有两句话要刻在石头上，一句一句话叫那个问题是不可避免的，但是第二句话是说问题是可以解决。
然后基本上就是说你你就可以认为在可能启蒙运动之前啊，这个社会它是一个静态的社会，就是大家并不追求创新，就是说你你可能会用很多神奇的方式去解释你观察到的现象。
然后基本上就是说你你就可以认为在可能启蒙运动之前啊，这个社会它是一个静态的社会，就是大家并不追求创新，就是说你你可能会用很多神奇的方式去解释你观察到的现象。
但这些解释，它可能是并不是一个好的解释。
但这些解释，它可能是并不是一个好的解释。
比如说你你看到这个呃这个天上打雷，你会觉得是有雷公对吧？
比如说你你看到这个呃这个天上打雷，你会觉得是有雷公对吧？
然后你你你看到这个冬天下雪，你觉得可能是因为某个神他的心情不好所以下雪了啊。
然后你你你看到这个冬天下雪，你觉得可能是因为某个神他的心情不好所以下雪了啊。
就是你会有很多这种呃就是不是啊不好的解释去去去阐述这些东西。
就是你会有很多这种呃就是不是啊不好的解释去去去阐述这些东西。
所以它整个社会是个静态的社会，只有非常少数的人是在真正。
所以它整个社会是个静态的社会，只有非常少数的人是在真正。
呃，做这个所谓的科学研究，或者说知识的创造。
呃，做这个所谓的科学研究，或者说知识的创造。
嗯，呃，所以它其实会是一个静态的结构。
嗯，呃，所以它其实会是一个静态的结构。
但是如果是在启蒙运动之后，你发现这个社会它变成动态的，就是就是你会有很多新的知识被创造出来。
但是如果是在启蒙运动之后，你发现这个社会它变成动态的，就是就是你会有很多新的知识被创造出来。
然后这个创造的过程中呢，它就会比如说你产生了一个知识，它就解决了一个问题，是吧？
然后这个创造的过程中呢，它就会比如说你产生了一个知识，它就解决了一个问题，是吧？
但解决这个问题的时候，你会产生新的问题。
但解决这个问题的时候，你会产生新的问题。
嗯，那你的你的问题是不断，因为你的知识边界是在拓展，那你就会遇到很多新的问题。
嗯，那你的你的问题是不断，因为你的知识边界是在拓展，那你就会遇到很多新的问题。
嗯。
嗯。
呃，研研发这个AI的过程中，我觉得可能恰好就是一个这样的过程。
呃，研研发这个AI的过程中，我觉得可能恰好就是一个这样的过程。
就是你解决了比如说强化学习的很多问题，但你发现就面临的很多新的问题，比如说评估的、刚我刚讲的评估的这些问题，或者衡量的问题和验证的问题，对吧？
就是你解决了比如说强化学习的很多问题，但你发现就面临的很多新的问题，比如说评估的、刚我刚讲的评估的这些问题，或者衡量的问题和验证的问题，对吧？
这这些问题它可能就啊，我们需要一些新的答案，大概是会是这样的一个过程。
这这些问题它可能就啊，我们需要一些新的答案，大概是会是这样的一个过程。
但但这个也是非常有意思的一个点，就是因为你一直会有新的问题可以去解决啊，然后然后每次解决一个问题，你的技术就是会往上。
但但这个也是非常有意思的一个点，就是因为你一直会有新的问题可以去解决啊，然后然后每次解决一个问题，你的技术就是会往上。
再可能再攀登几百米，对。
再可能再攀登几百米，对。
然后就是可能有一天啊，也也许我我知道有有可能这个雪山它有可能没有尽头，我不知道就就是呃，我希望它一直没有尽头，因为因为这样的话就是就所谓的BEGINNING OF INFINITY，就是这个意思，就是它可能是一座无限的山，就就是你一直在你一直在往上爬，然后而且甚至有可能爬到一段时间之后，你不一定是自己在爬，而有可能是你。
然后就是可能有一天啊，也也许我我知道有有可能这个雪山它有可能没有尽头，我不知道就就是呃，我希望它一直没有尽头，因为因为这样的话就是就所谓的BEGINNING OF INFINITY，就是这个意思，就是它可能是一座无限的山，就就是你一直在你一直在往上爬，然后而且甚至有可能爬到一段时间之后，你不一定是自己在爬，而有可能是你。
用呃，用AI来爬对吧？
用呃，用AI来爬对吧？
就就比如说你现在我我们也会把，就是比如用用K2这个模型去做很多可能模型训练或者说数据处理相关的工作。
就就比如说你现在我我们也会把，就是比如用用K2这个模型去做很多可能模型训练或者说数据处理相关的工作。
这些东西它以前可能都是要人工写代码，或者有有些同学他不一定会写代码，那以前就做不了。
这些东西它以前可能都是要人工写代码，或者有有些同学他不一定会写代码，那以前就做不了。
但是现在比如说很多数据处理或者说模型的一些分析，对吧？
但是现在比如说很多数据处理或者说模型的一些分析，对吧？
甚至包括模型的一些训练，你慢慢又又都可以用这个。
甚至包括模型的一些训练，你慢慢又又都可以用这个。
用用模型来做对，所以那你可能就是可以把这个东西作为一个放大器去更好的去攀登这座山。
用用模型来做对，所以那你可能就是可以把这个东西作为一个放大器去更好的去攀登这座山。
对，所以呃我觉得会有这种感觉，就是反正你的问问题是会持续产生，对，然后你就持续去去解决，然后发现新有新的问题。
对，所以呃我觉得会有这种感觉，就是反正你的问问题是会持续产生，对，然后你就持续去去解决，然后发现新有新的问题。
那如果雪山是无尽的，你追求的是什么呢？
那如果雪山是无尽的，你追求的是什么呢？
追求就是这个攀登的过程，或者说你能你能一直越越爬越高，对，就是就是你可能原来是在在山底下对吧，然后爬A到那个就是又又又往上提升了一点，然后你能看到的。
追求就是这个攀登的过程，或者说你能你能一直越越爬越高，对，就是就是你可能原来是在在山底下对吧，然后爬A到那个就是又又又往上提升了一点，然后你能看到的。
呃景色会不一样就是然然后就它是一个动态可能进化的过程然后我们可能想追求的是你就是越爬越高。
呃景色会不一样就是然然后就它是一个动态可能进化的过程然后我们可能想追求的是你就是越爬越高。
以前我们会固化认为终点就是AGI今天的终点已经不是AGI了是吗那AGI是什么？
以前我们会固化认为终点就是AGI今天的终点已经不是AGI了是吗那AGI是什么？
对AGI可能是个方向就是它可能不是某一级台阶说你爬到了这级台阶就就是突然一夜之间达到了AGI对吧而而是说可能它它是一个方向比如说我们今天可能在很很多领域其实你也可能你可以认为它是AGI就是因为它可能做的比就翻译99%的人类可能都更好对吧然后呃对然后包括就是现在比如很多数学题或者说编程竞赛这些题可能。
对AGI可能是个方向就是它可能不是某一级台阶说你爬到了这级台阶就就是突然一夜之间达到了AGI对吧而而是说可能它它是一个方向比如说我们今天可能在很很多领域其实你也可能你可以认为它是AGI就是因为它可能做的比就翻译99%的人类可能都更好对吧然后呃对然后包括就是现在比如很多数学题或者说编程竞赛这些题可能。
我觉得提按照现在提升速度，你可以可能预想就是说它会很快，有很多问题就可以被充分的解决。
我觉得提按照现在提升速度，你可以可能预想就是说它会很快，有很多问题就可以被充分的解决。
嗯，对，然后对，但是但是他可能很难说，我我我是很量，就是说，哎，某一个时间点我突然就是我我就我就我就可以喊一个口号说我们在这个时间点，此时此刻实现 agi 它它跟，就是虽然我们用登月来命名公司的名字。
嗯，对，然后对，但是但是他可能很难说，我我我是很量，就是说，哎，某一个时间点我突然就是我我就我就我就可以喊一个口号说我们在这个时间点，此时此刻实现 agi 它它跟，就是虽然我们用登月来命名公司的名字。
但它跟登月有一个区别，就是登月就是你站上月球那一刻，你就是。
但它跟登月有一个区别，就是登月就是你站上月球那一刻，你就是。
对，你号称我就达到了。
对，你号称我就达到了。
对，但但是可能 agi 它就是你你你不断做，然后而且这里面我觉得两个层面，一个是说。
对，但但是可能 agi 它就是你你你不断做，然后而且这里面我觉得两个层面，一个是说。
一方面是呃，技术是一直在提升对吧？
一方面是呃，技术是一直在提升对吧？
但当然呃，另一方面就是除了技术之外，我觉得这个这个技术对于人类社会的影响呃，它可它可能是更长周期的事情。
但当然呃，另一方面就是除了技术之外，我觉得这个这个技术对于人类社会的影响呃，它可它可能是更长周期的事情。
嗯，对，那那你也可以认为它其实是AGI的一部分，就是就有点像比如你产生了。
嗯，对，那那你也可以认为它其实是AGI的一部分，就是就有点像比如你产生了。
产生了蒸汽机之后你你整个社会的变化它其实是需要花可能几十几百年的时间去消化嗯呃就是你有有一些工作可能不再必要但是你会产生新的工作然后有新的方式可能人会用AI去做更就是就每每个人都会成为超人嘛就是你你可以做更多的事情那这个社会它的工作方式和它的呃运行效率可能都会发生很大的变化。
产生了蒸汽机之后你你整个社会的变化它其实是需要花可能几十几百年的时间去消化嗯呃就是你有有一些工作可能不再必要但是你会产生新的工作然后有新的方式可能人会用AI去做更就是就每每个人都会成为超人嘛就是你你可以做更多的事情那这个社会它的工作方式和它的呃运行效率可能都会发生很大的变化。
那我们先来回望一下过去一年啊过去一年全球大模型在你脑海中最重要的几件事情是什么有哪些在人工智能范式级的变化。
那我们先来回望一下过去一年啊过去一年全球大模型在你脑海中最重要的几件事情是什么有哪些在人工智能范式级的变化。
我觉得可能有几个重要的一个一个是这种强思考的推理模型啊基于强思考的强化学习对O1以O1就是作为第一个呃做出来这样的一个代表然后我觉得是。
我觉得可能有几个重要的一个一个是这种强思考的推理模型啊基于强思考的强化学习对O1以O1就是作为第一个呃做出来这样的一个代表然后我觉得是。
本质上来讲，是呃，它通过让模型在这个过程中去做很多的尝试和反思。
本质上来讲，是呃，它通过让模型在这个过程中去做很多的尝试和反思。
呃，然后特我觉得可能反思是这里面的重点，就是反思其实本质上是两种能力：一种能力是提出来一个新的猜想，你可以认为就是模型在解决一个问题过程中，它会不断提出新的猜想。
呃，然后特我觉得可能反思是这里面的重点，就是反思其实本质上是两种能力：一种能力是提出来一个新的猜想，你可以认为就是模型在解决一个问题过程中，它会不断提出新的猜想。
然后这个猜想呢，他会得到一个自我的验证。
然后这个猜想呢，他会得到一个自我的验证。
比如说他提出这个猜想之后，我到底这个猜想是对的还是错的啊？
比如说他提出这个猜想之后，我到底这个猜想是对的还是错的啊？
他其实是需要具备一定的验证能力。
他其实是需要具备一定的验证能力。
虽然你不是显示的训练一个验证模型，但是他是在这个推理过程中可能隐视的去做了验证。
虽然你不是显示的训练一个验证模型，但是他是在这个推理过程中可能隐视的去做了验证。
然后你可以理解成就是他把这个问题做了很多次，每次猜想、验证、猜想、验证，然后最后可能……啊，就可以得到一个答案。
然后你可以理解成就是他把这个问题做了很多次，每次猜想、验证、猜想、验证，然后最后可能……啊，就可以得到一个答案。
对，那那这个东西就是说它其实会很大程度提升模型的能力，是因为你本来只能做一次，对吧？
对，那那这个东西就是说它其实会很大程度提升模型的能力，是因为你本来只能做一次，对吧？
你你本来只能就是我直接给出一个答案，那这个答案可能是对，可能是错的，你你并没有这个这个过程啊。
你你本来只能就是我直接给出一个答案，那这个答案可能是对，可能是错的，你你并没有这个这个过程啊。
但是你现在可以不断的提出猜想去验证，那那等于说你其实。
但是你现在可以不断的提出猜想去验证，那那等于说你其实。
等价的尝试了好几次。
等价的尝试了好几次。
嗯，对，那那你就是可以把PASS K可能变成PASS ONE，它本质上是一个这样的呃的的道理。
嗯，对，那那你就是可以把PASS K可能变成PASS ONE，它本质上是一个这样的呃的的道理。
就就其实跟人做科研或者解题的过程也很像，就是也是不断提出新的猜想。
就就其实跟人做科研或者解题的过程也很像，就是也是不断提出新的猜想。
然后去验证它是一个自由探索的过程，它不是一个线性的过程。
然后去验证它是一个自由探索的过程，它不是一个线性的过程。
时代有效的工作方式实际上还是很多时候是比较线性的。
时代有效的工作方式实际上还是很多时候是比较线性的。
你如果不考虑比如说我做并行的采样，假设我就是做串行的采样，嗯，它其实是有限性体现在就是说你每次是提出新的猜想，这个猜想可能是基于你之前的猜想。
你如果不考虑比如说我做并行的采样，假设我就是做串行的采样，嗯，它其实是有限性体现在就是说你每次是提出新的猜想，这个猜想可能是基于你之前的猜想。
你已经否定过的猜想，然后你提出来一个新的猜想。
你已经否定过的猜想，然后你提出来一个新的猜想。
对，但它是会接近更线性的过程。
对，但它是会接近更线性的过程。
当然只是说现在你也可以把这个线性的过程去搭配到啊，就是搭配一些可能并行的策略。
当然只是说现在你也可以把这个线性的过程去搭配到啊，就是搭配一些可能并行的策略。
就是你你可以比如说你同时采样很多个啊，然后那那那它就会结合可能并行和串行两种不同的方式啊。
就是你你可以比如说你同时采样很多个啊，然后那那那它就会结合可能并行和串行两种不同的方式啊。
但是最近也有一些PAPER讲，就是说你可能串行它的它的上限是会更高，这个可能跟我们的。
但是最近也有一些PAPER讲，就是说你可能串行它的它的上限是会更高，这个可能跟我们的。
实验结论有些相关对所以这个这个我觉得是一种范式就是但他他还是一个就是缸中之脑就是说他并不需要跟外界交互他缸中之脑嗯对对对他他就是他就是一个你想象一个鱼缸然后你把一个脑子放在里面然后他他他他跟这个外界是没有联系他是。
实验结论有些相关对所以这个这个我觉得是一种范式就是但他他还是一个就是缸中之脑就是说他并不需要跟外界交互他缸中之脑嗯对对对他他就是他就是一个你想象一个鱼缸然后你把一个脑子放在里面然后他他他他跟这个外界是没有联系他是。
这个环境里面的。
这个环境里面的。
对他是只在自己大脑里面想他就一直想他他不需要跟外界产生任何的交互他就他就能解一道题对呃但是有另外一个很重要的范式就是说现在可能基于这种呃多轮的agent的呃强化学习的范式或者说你通过这种强化学习技术训练出来这种。
对他是只在自己大脑里面想他就一直想他他不需要跟外界产生任何的交互他就他就能解一道题对呃但是有另外一个很重要的范式就是说现在可能基于这种呃多轮的agent的呃强化学习的范式或者说你通过这种强化学习技术训练出来这种。
跟AGENETIC的这个模型，那那它的特点就是说啊，它会跟外界做很多交互。
跟AGENETIC的这个模型，那那它的特点就是说啊，它会跟外界做很多交互。
比如说我可能我边思考边去做一些操作，然后我我可能做很多轮的这个操作，我一会儿调用一个搜索，一会儿使用一下浏览器，一会儿可能写几行代码，然后我通过多轮的方式解决了一个问题。
比如说我可能我边思考边去做一些操作，然后我我可能做很多轮的这个操作，我一会儿调用一个搜索，一会儿使用一下浏览器，一会儿可能写几行代码，然后我通过多轮的方式解决了一个问题。
那它就不再是刚中之脑，它是。
那它就不再是刚中之脑，它是。
它是，它是跟外界有交互的。
它是，它是跟外界有交互的。
所以它的就是我我的下一步行为是根据通过这个交互得到的外界给我的这个反馈，外外界给我的这个新的状态的更新是有关系的。
所以它的就是我我的下一步行为是根据通过这个交互得到的外界给我的这个反馈，外外界给我的这个新的状态的更新是有关系的。
对。
对。
它有交互的过程。
它有交互的过程。
对对对。
对对对。
然后但这两个东西它都指向了同一个东西，就是都是呃所谓的TEST TIME SCALING，就是就是你你可以在测试的时候或者说在推理的时候做做更好的规模化。
然后但这两个东西它都指向了同一个东西，就是都是呃所谓的TEST TIME SCALING，就是就是你你可以在测试的时候或者说在推理的时候做做更好的规模化。
意思就是说比如说我们之前如果在。
意思就是说比如说我们之前如果在。
做CHAT或在做对话的时候，你更多的是我只是单轮的输出一个一个结果，对吧？
做CHAT或在做对话的时候，你更多的是我只是单轮的输出一个一个结果，对吧？
我我可能让你写一篇文章，你就写一篇文章，然后我再问你。
我我可能让你写一篇文章，你就写一篇文章，然后我再问你。
我我再让你润色一下，你又输出了几百个TOKEN。
我我再让你润色一下，你又输出了几百个TOKEN。
它它它这个TOKEN数量是很少的，嗯，但是不管是刚说的这个基于强思考的强化学习，还是说这种AGENT的强化学习，它本质上都是一种去规模化这个呃，在预测的时候的TOKEN的方式。
它它它这个TOKEN数量是很少的，嗯，但是不管是刚说的这个基于强思考的强化学习，还是说这种AGENT的强化学习，它本质上都是一种去规模化这个呃，在预测的时候的TOKEN的方式。
对，就是你不管是说我把轮轮数打得更多，还是说在每一轮里面我有更多的这个思考的TOKEN啊，它都是一种去规模化这个TOKEN的方式，使得说你能去完成更复杂的任务。
对，就是你不管是说我把轮轮数打得更多，还是说在每一轮里面我有更多的这个思考的TOKEN啊，它都是一种去规模化这个TOKEN的方式，使得说你能去完成更复杂的任务。
那这个也伴随着就是你的完成时间会更长，一个可能就是你可能现在会花几个小时的时间，比如说去去做一件很复杂的事情，在这个过程中你可能不需要。
那这个也伴随着就是你的完成时间会更长，一个可能就是你可能现在会花几个小时的时间，比如说去去做一件很复杂的事情，在这个过程中你可能不需要。
啊，不需要人工的参与。
啊，不需要人工的参与。
对，就就他他就可以，比如把一个代码仓库克隆下来，然后把它翻译成另外一种新的语言，然后去调试测试，然后去把所有的BUG都修了，然后让它能正常的运行。
对，就就他他就可以，比如把一个代码仓库克隆下来，然后把它翻译成另外一种新的语言，然后去调试测试，然后去把所有的BUG都修了，然后让它能正常的运行。
嗯，就这样的一个工作，可能是可以端到端的去直接完成它，就得益于我觉得是这种测试时的这个规模化。
嗯，就这样的一个工作，可能是可以端到端的去直接完成它，就得益于我觉得是这种测试时的这个规模化。
这两两两个都是我觉得都是TEST TIME SCALING的表现方式吧？
这两两两个都是我觉得都是TEST TIME SCALING的表现方式吧？
对。
对。
呃，然后可能还有一个很很有意思的趋势。
呃，然后可能还有一个很很有意思的趋势。
我觉得就是说可能现在会有更多的模型公司去做这种一方的产品，对，就一方的这种agent产品。
我觉得就是说可能现在会有更多的模型公司去做这种一方的产品，对，就一方的这种agent产品。
然后我觉得这个也很有意思，因为一开始更多的比如说我们如果看半年前开始的话，或者说去年对吧，就会有很多产品它是基于这个基础模型，然后你在上面可能做一些脚手架。
然后我觉得这个也很有意思，因为一开始更多的比如说我们如果看半年前开始的话，或者说去年对吧，就会有很多产品它是基于这个基础模型，然后你在上面可能做一些脚手架。
啊，或者去设计一些工具，去去去更好地让模型去使用，然后来搭建一个产品。
啊，或者去设计一些工具，去去去更好地让模型去使用，然后来搭建一个产品。
享受模型溢出的能力。
享受模型溢出的能力。
对对，然后它本质上在做的一件事情就是说去逆向工程。
对对，然后它本质上在做的一件事情就是说去逆向工程。
我认为就是去逆向工程这个模型的训练过程，就是因为模型训练过程它也是通过各种呃比，比如说你可以认为anthropic in house的这个环境工具对吧？
我认为就是去逆向工程这个模型的训练过程，就是因为模型训练过程它也是通过各种呃比，比如说你可以认为anthropic in house的这个环境工具对吧？
它的脚手架可能训练出来的。
它的脚手架可能训练出来的。
这样的一个模型，但它可能没有直接开放给你。
这样的一个模型，但它可能没有直接开放给你。
那你是想逆向出来？
那你是想逆向出来？
你更更接近去拟合它的分布，到底你用什么工具它效果会好？
你更更接近去拟合它的分布，到底你用什么工具它效果会好？
到底用什么样的SYSTEM PROM效果会好？
到底用什么样的SYSTEM PROM效果会好？
到底用什么样的CONTEXT ENGINEERING它的效果会好？
到底用什么样的CONTEXT ENGINEERING它的效果会好？
嗯，呃，是一个这样逆向的过程。
嗯，呃，是一个这样逆向的过程。
但是你发现就是说，如果呃模型公司去做一方的产品，它的逻辑是完全不一样的。
但是你发现就是说，如果呃模型公司去做一方的产品，它的逻辑是完全不一样的。
就是你不需要，你你不再需要这个逆向的过程，它它更多的是一个正向的做法。
就是你不需要，你你不再需要这个逆向的过程，它它更多的是一个正向的做法。
就是我我现在先把这些工具可能设计好。
就是我我现在先把这些工具可能设计好。
我的CONTEXT ENGINEERING的方法都设计好，然后我就在这个环境里面去训练这个模型。
我的CONTEXT ENGINEERING的方法都设计好，然后我就在这个环境里面去训练这个模型。
所以你的模型天然在你的环境里面就会表现得更好，对？
所以你的模型天然在你的环境里面就会表现得更好，对？
然后所以我觉得这个是两种不同的思路，但可能就是第二种，它的它的上限也许会更高。
然后所以我觉得这个是两种不同的思路，但可能就是第二种，它的它的上限也许会更高。
就是你你可以更好地去整合这个工具和整合这个模型，然后你的你的模型有可能有些解决不好的地方，你可以去调整这个工具的设计，你可以把它设计得更好，然后同时你又可以端到端地去做训练。
就是你你可以更好地去整合这个工具和整合这个模型，然后你的你的模型有可能有些解决不好的地方，你可以去调整这个工具的设计，你可以把它设计得更好，然后同时你又可以端到端地去做训练。
我我觉得这个可能也是在可能开发方式上，一个其实可能比较大的变量。
我我觉得这个可能也是在可能开发方式上，一个其实可能比较大的变量。
对，就是我我能观察到这几个可能是我我感觉比较有意思。
对，就是我我能观察到这几个可能是我我感觉比较有意思。
让大家比较好理解。
让大家比较好理解。
其实你刚才说那个第一种脚手架就像MINUS这种方式，然后第二种就是你们这样的呃，就是对对是模型。
其实你刚才说那个第一种脚手架就像MINUS这种方式，然后第二种就是你们这样的呃，就是对对是模型。
对，当然我们现在在一方产品上的投入还不算特别多，我们现在可能主要还是说呃做很多还是以模型作为。
对，当然我们现在在一方产品上的投入还不算特别多，我们现在可能主要还是说呃做很多还是以模型作为。
啊我们的主线对但你可以看到比如像clock code或者像ChatGPT agent这样的东西它其实就是其实就是一方的产品然后我觉得应该也会是一个很大的趋势所以可能后面就是看这两种东西它会怎么去配合或者说他们在这个生态里面会是在。
啊我们的主线对但你可以看到比如像clock code或者像ChatGPT agent这样的东西它其实就是其实就是一方的产品然后我觉得应该也会是一个很大的趋势所以可能后面就是看这两种东西它会怎么去配合或者说他们在这个生态里面会是在。
什么样他们边界分别在哪里说到主线啊你看ChatGPT它设置了l1到l5其实我一直很好奇这里面逻辑就是l1chatbot第二个是reasoner第三是agent为什么有了呃chatbot和reasoner之后才有了agent然后为什么后面又是创新者和组织者他们的逻辑是什么样子就是在逻辑模型上它的变化是什么。
什么样他们边界分别在哪里说到主线啊你看ChatGPT它设置了l1到l5其实我一直很好奇这里面逻辑就是l1chatbot第二个是reasoner第三是agent为什么有了呃chatbot和reasoner之后才有了agent然后为什么后面又是创新者和组织者他们的逻辑是什么样子就是在逻辑模型上它的变化是什么。
就是它它是这个能力一步一步的依赖当然就是现在我觉得实际看起来。
就是它它是这个能力一步一步的依赖当然就是现在我觉得实际看起来。
呃实际看起来就是说你agent哎我我觉得agent的上限是取决于你有很强的reasoning能力但是好像并不是说你你必须比如说我们如果把这个技术发展稍微换一个顺序假假设你先做出来的agent能力然后再去做做现在这个狭义上的reasoning就是说你你做这种longcot的reasoning我觉得实际上可能也是成立的不也是成立的对对就而且你可以你认为可能cloud的路线它就是better在这一点上就是我可能在reasoning上做的并不是那么多嗯但是但是它可能在这个agent上会做的非常好因为它对应的是其实是。
呃实际看起来就是说你agent哎我我觉得agent的上限是取决于你有很强的reasoning能力但是好像并不是说你你必须比如说我们如果把这个技术发展稍微换一个顺序假假设你先做出来的agent能力然后再去做做现在这个狭义上的reasoning就是说你你做这种longcot的reasoning我觉得实际上可能也是成立的不也是成立的对对就而且你可以你认为可能cloud的路线它就是better在这一点上就是我可能在reasoning上做的并不是那么多嗯但是但是它可能在这个agent上会做的非常好因为它对应的是其实是。
你技术背后是两种不同的 test time scaling 的范式。
你技术背后是两种不同的 test time scaling 的范式。
你一种 scale 的是通过这种多轮的方式，因为你需要跟外界交互嘛，你使用很多次工具，所以它它是这种多轮的交互，你可以 scale 这个轮次。
你一种 scale 的是通过这种多轮的方式，因为你需要跟外界交互嘛，你使用很多次工具，所以它它是这种多轮的交互，你可以 scale 这个轮次。
那另另外一种是 scale，就是像我刚刚说的，你你可能其实并没有什么交互，你只是一直在那思考，纯粹的思考。
那另另外一种是 scale，就是像我刚刚说的，你你可能其实并没有什么交互，你只是一直在那思考，纯粹的思考。
对，它是两种不同的，我觉得是 scaling 的维度。
对，它是两种不同的，我觉得是 scaling 的维度。
那你现，我我觉得就是说，你可以看，就是可能，比如说你看 cloud 很多模型，它它的 reasoning 的 performance 并不是非常高。
那你现，我我觉得就是说，你可以看，就是可能，比如说你看 cloud 很多模型，它它的 reasoning 的 performance 并不是非常高。
对，但是它的AGENT上的PERFORMANCE是很高的。
对，但是它的AGENT上的PERFORMANCE是很高的。
然后我觉得这两个东西它呃，它其实也并不一定是依赖的关系。
然后我觉得这两个东西它呃，它其实也并不一定是依赖的关系。
但是但是有一点就是说，如果你想做最好的AGENT，就就是想让它解决最复杂的任务，那那你最终可能是需要你的REASONING能力也很强。
但是但是有一点就是说，如果你想做最好的AGENT，就就是想让它解决最复杂的任务，那那你最终可能是需要你的REASONING能力也很强。
对，所以它是这样的一个关系。
对，所以它是这样的一个关系。
就我觉得在研发上，它不是必然的顺序。
就我觉得在研发上，它不是必然的顺序。
但是就是如果你想达到一个东西的最好，你需要另外把把REASONING你你要达到AGENT最好，你需要把REASONING也做到最好。
但是就是如果你想达到一个东西的最好，你需要另外把把REASONING你你要达到AGENT最好，你需要把REASONING也做到最好。
然后当你有了AGENT之后，就是它它就可以去做一些。
然后当你有了AGENT之后，就是它它就可以去做一些。
为什么是对应？
为什么是对应？
接下来是INNOVATION。
接下来是INNOVATION。
就我我我觉得这里面最关键的一个点就是你的模型到底什么时候能参与到模型的开发。
就我我我觉得这里面最关键的一个点就是你的模型到底什么时候能参与到模型的开发。
就比如说我们希望K TWO能够参与到K THREE的开发里面，那如果你没有这个AGENCY的能力，你其实很难做到这个事情。
就比如说我们希望K TWO能够参与到K THREE的开发里面，那如果你没有这个AGENCY的能力，你其实很难做到这个事情。
但当你有AGENCY能力之后，它就是可以去不管是说你你提出一些新的想法，还是说去。
但当你有AGENCY能力之后，它就是可以去不管是说你你提出一些新的想法，还是说去。
做对应的实验，然后去分析实验的结果，得到一些结论，然后去迭代下一版的想法，或者去优化一个某一个INFRA的什么呃一个一个一个性能。
做对应的实验，然后去分析实验的结果，得到一些结论，然后去迭代下一版的想法，或者去优化一个某一个INFRA的什么呃一个一个一个性能。
那这个东西它是需要很强AGENIC的能力，它才能做对。
那这个东西它是需要很强AGENIC的能力，它才能做对。
所以我觉得INNOVATION其实最大会产生在呃你至少会有一个很关键的点，就是看你这个模型什么时候能参与到你的你的模型的本身的研发里面去，自我迭代对，然后。
所以我觉得INNOVATION其实最大会产生在呃你至少会有一个很关键的点，就是看你这个模型什么时候能参与到你的你的模型的本身的研发里面去，自我迭代对，然后。
但这个东西，它跟ORGANIZATION就是它可能也我，我觉得也不一定是完全线性的关系。
但这个东西，它跟ORGANIZATION就是它可能也我，我觉得也不一定是完全线性的关系。
有的东西其实也是并行的，就比如说现在这个组织这个东西，它也在对，就是我觉得现在已经看到很多这样的趋势了。
有的东西其实也是并行的，就比如说现在这个组织这个东西，它也在对，就是我觉得现在已经看到很多这样的趋势了。
就是当你有一个AGENT之后，你就可以把它拓展成一个MULTI-AGENT的系统。
就是当你有一个AGENT之后，你就可以把它拓展成一个MULTI-AGENT的系统。
嗯，对，然后你你可以从一个AGENT FOCUS出来很多个不同的AGENT，让它去做不同的事情。
嗯，对，然后你你可以从一个AGENT FOCUS出来很多个不同的AGENT，让它去做不同的事情。
然后它，它很多可以串行，然后呃破的并行，然后再再合并起来，然后再分成几个不同的TASK。
然后它，它很多可以串行，然后呃破的并行，然后再再合并起来，然后再分成几个不同的TASK。
你可能有的去写去写测试，有的去写文档，有的去设计，就是整体的这个软件的框架，它可以有不同的这个分工。
你可能有的去写去写测试，有的去写文档，有的去设计，就是整体的这个软件的框架，它可以有不同的这个分工。
对，然后我我觉得现在已经在有有有有这样的趋势，所以它不一定是线性关系，对，就是你有可能两个会一起发生，但是它确实是。
对，然后我我觉得现在已经在有有有有这样的趋势，所以它不一定是线性关系，对，就是你有可能两个会一起发生，但是它确实是。
我觉得，我觉得reasoning和agent相当于说对，就是可能会是innovation和organization的一个前提吧。
我觉得，我觉得reasoning和agent相当于说对，就是可能会是innovation和organization的一个前提吧。
我理解reason是呃agent的前提，是因为它能够让语言通过推理在agent中得以泛化。
我理解reason是呃agent的前提，是因为它能够让语言通过推理在agent中得以泛化。
呃对对，就是呃你你比如说如果想去解决一个可能最复杂的agent的问题，你肯定如果不会推理是很难。
呃对对，就是呃你你比如说如果想去解决一个可能最复杂的agent的问题，你肯定如果不会推理是很难。
嗯对，但是你假设没有推理的这种范式，你你还是可以一定程度上做一些agent的任务，不需要推理的任务。
嗯对，但是你假设没有推理的这种范式，你你还是可以一定程度上做一些agent的任务，不需要推理的任务。
对，就是或者你不需要那么强的推理能力。
对，就是或者你不需要那么强的推理能力。
你其实就啊，你你不需要说我在思考过程中输出来几千个TOKEN去推理一下我当当前这个到底我应该怎么做。
你其实就啊，你你不需要说我在思考过程中输出来几千个TOKEN去推理一下我当当前这个到底我应该怎么做。
嗯，你也可以去通过多轮的交互方式从环境里面得到反馈，是吧？
嗯，你也可以去通过多轮的交互方式从环境里面得到反馈，是吧？
你写一些测试然后去跑这个测试，你也你也能解决一些相对比较复杂的任务。
你写一些测试然后去跑这个测试，你也你也能解决一些相对比较复杂的任务。
所以我觉得这是为什么现在可能呃，你就你发现CLOUD模型在在在很在有一些场景它会做得更好，就就是因为我觉得可能你是背后其实对应的不同的技术的。
所以我觉得这是为什么现在可能呃，你就你发现CLOUD模型在在在很在有一些场景它会做得更好，就就是因为我觉得可能你是背后其实对应的不同的技术的。
这个BET，但但最终你是绕不开。
这个BET，但但最终你是绕不开。
就是说最终你要做到呃，就是你要往山顶再爬几步的话，你你还是两个都要。
就是说最终你要做到呃，就是你要往山顶再爬几步的话，你你还是两个都要。
它只是一个时间问题，然后所以对对应就是ORGANIZATION和INNOVATION这两个东西也是一样，就是你在你这里面如果你有不同的技术的BET，可能会让你短期的路径呃稍微有些区别，然后这这些短期路径的区别可能会有一些影响，因为它它毕竟你要面对的是一个动态。
它只是一个时间问题，然后所以对对应就是ORGANIZATION和INNOVATION这两个东西也是一样，就是你在你这里面如果你有不同的技术的BET，可能会让你短期的路径呃稍微有些区别，然后这这些短期路径的区别可能会有一些影响，因为它它毕竟你要面对的是一个动态。
的市场INNOVATION的呃。
的市场INNOVATION的呃。
标志是模型的自我迭代。
标志是模型的自我迭代。
那organization呢？
那organization呢？
organization就是可能就就比较简单的思考，就是它会是一个multiagent的一个系统，然后可能会从现在这个agent变成我。
organization就是可能就就比较简单的思考，就是它会是一个multiagent的一个系统，然后可能会从现在这个agent变成我。
我觉得现在也有很多这样的的雏形，对，然后当然就是说你multiagent的系统怎么很好的端到端的训练，然后你可能不要去过拟合到某几种对吧，agent的类型。
我觉得现在也有很多这样的的雏形，对，然后当然就是说你multiagent的系统怎么很好的端到端的训练，然后你可能不要去过拟合到某几种对吧，agent的类型。
让它有更好的泛化性，我觉得有挑战的。
让它有更好的泛化性，我觉得有挑战的。
可以 organization 是雪山的封顶吗？
可以 organization 是雪山的封顶吗？
我觉得也不是，可能它真的就是没有顶，就是就是这就这几个能力，它可能随着时间的发展，它都会持续的变得更好。
我觉得也不是，可能它真的就是没有顶，就是就是这就这几个能力，它可能随着时间的发展，它都会持续的变得更好。
就包括推理能力，你说推理能力的上限到底是在哪里？
就包括推理能力，你说推理能力的上限到底是在哪里？
我我觉得今天也不好说，虽然它你看看起来是 L two 对吧，但是但是你真正说做到很强很强的推理，我觉得今天也还是有很大的空间。
我我觉得今天也不好说，虽然它你看看起来是 L two 对吧，但是但是你真正说做到很强很强的推理，我觉得今天也还是有很大的空间。
嗯，所以你怎么看 L1 到 L5 的这个分级啊？
嗯，所以你怎么看 L1 到 L5 的这个分级啊？
你把它当做一个什么样的刻度？
你把它当做一个什么样的刻度？
我我觉得它是就是几个可能重要的技术MILESTONE，但是就是首先它并不一定完全是串行的关系。
我我觉得它是就是几个可能重要的技术MILESTONE，但是就是首先它并不一定完全是串行的关系。
像我们刚刚说的，我们会预期说有一个东西它就马上被解决掉，然后你去解决下面的问题，它可能是会你你同时都会在提升。
像我们刚刚说的，我们会预期说有一个东西它就马上被解决掉，然后你去解决下面的问题，它可能是会你你同时都会在提升。
我觉得像比如说REASONING，就是你要去你你真的要解决一些开放的问题啊，或者说。
我觉得像比如说REASONING，就是你要去你你真的要解决一些开放的问题啊，或者说。
啊就是你你要做很好的创新对吧？
啊就是你你要做很好的创新对吧？
你要提出来新的模型架构，那你的推理能力可能又又又需要有更高的要求。
你要提出来新的模型架构，那你的推理能力可能又又又需要有更高的要求。
所以我我是觉得可能这几个能力都要持续的提升。
所以我我是觉得可能这几个能力都要持续的提升。
我们来复盘一下23到24年你们的关键决策是你要你当时2月份决定了创业，然后开始融资组建团队，然后到了下半年Kimi上线了，然后Bapt长文本那24到25年这一年呢你的关键的几个重要的决策是什么？
我们来复盘一下23到24年你们的关键决策是你要你当时2月份决定了创业，然后开始融资组建团队，然后到了下半年Kimi上线了，然后Bapt长文本那24到25年这一年呢你的关键的几个重要的决策是什么？
好问题我我我觉得很重要的可能技术上就是说你从以预训练和和比如说。
好问题我我我觉得很重要的可能技术上就是说你从以预训练和和比如说。
SFT为重点的这样的研发范式，转变成就是说以预训练和强化学习为重点的这个方式。
SFT为重点的这样的研发范式，转变成就是说以预训练和强化学习为重点的这个方式。
嗯，然后我觉得这个其实你就需要做很多的，不管是人才的储备，还是说研发方式的改变。
嗯，然后我觉得这个其实你就需要做很多的，不管是人才的储备，还是说研发方式的改变。
对，然后可能还有就是说可能从对话到AGENT，我觉得是一个重要的范式的改变。
对，然后可能还有就是说可能从对话到AGENT，我觉得是一个重要的范式的改变。
然后这个东西它会很影响我们的实际的。
然后这个东西它会很影响我们的实际的。
工作方式吧我我觉得这呃这是这两个是可能比较呃重要的方向上的变化。
工作方式吧我我觉得这呃这是这两个是可能比较呃重要的方向上的变化。
过去半年你们推出了K1.5和K2嘛这个分别对于KIMI意味着什么。
过去半年你们推出了K1.5和K2嘛这个分别对于KIMI意味着什么。
我觉得K1.5更多的是可能是强化学习这个技术的验证就是我们对对对我们可能是也是比比较早去在这个技术路线上去做投入然后可能。
我觉得K1.5更多的是可能是强化学习这个技术的验证就是我们对对对我们可能是也是比比较早去在这个技术路线上去做投入然后可能。
呃，得到一些结果吧。
呃，得到一些结果吧。
看背后的技术到底怎么做，就是当时我们发现说你可能不太需要太多的PROCESS REWARD或者这种，比如VALUE FUNCTION。
看背后的技术到底怎么做，就是当时我们发现说你可能不太需要太多的PROCESS REWARD或者这种，比如VALUE FUNCTION。
呃，你你你呃，或者甚至这甚至最终就是可能在训练过程中还有一些副作用，对吧？
呃，你你你呃，或者甚至这甚至最终就是可能在训练过程中还有一些副作用，对吧？
就我们发现就是你可能直接用端到端的这个呃这个REWARD，就你可以把这个训练得非常好啊。
就我们发现就是你可能直接用端到端的这个呃这个REWARD，就你可以把这个训练得非常好啊。
我我觉得这个在早期其实可能还是并不是非常明确。
我我觉得这个在早期其实可能还是并不是非常明确。
然后在这个过程中，我们可能是积累了一些强化学习的基建，还有它的这个呃一些算法的一些NO号K2的主要的点。
然后在这个过程中，我们可能是积累了一些强化学习的基建，还有它的这个呃一些算法的一些NO号K2的主要的点。
我觉得是几个，一个是说我们希望它是一个非常好的基础模型，希望它是一个非常好的BASE MODEL。
我觉得是几个，一个是说我们希望它是一个非常好的基础模型，希望它是一个非常好的BASE MODEL。
所以那如果你想有一个更好的BASE MODEL，我们就要去看现在比如说整个领域它的。
所以那如果你想有一个更好的BASE MODEL，我们就要去看现在比如说整个领域它的。
预训练的瓶颈是在哪里？
预训练的瓶颈是在哪里？
然后我们发现，就是嗯，因为你其实高质量数据的增长确实很缓慢嘛。
然后我们发现，就是嗯，因为你其实高质量数据的增长确实很缓慢嘛。
然后多模态的数据你又没有办法很好地去提升呃，文本本身它那个智商，你可以认为就是高质量数据它是它有点接近是一个常数。
然后多模态的数据你又没有办法很好地去提升呃，文本本身它那个智商，你可以认为就是高质量数据它是它有点接近是一个常数。
所以在其中，我们希望的是说，我们希望把每一份的数据能够最大化的使用，就所谓的这个TOKEN EFFICIENCY，就是你希望说你。
所以在其中，我们希望的是说，我们希望把每一份的数据能够最大化的使用，就所谓的这个TOKEN EFFICIENCY，就是你希望说你。
啊，你同样吃下一样多的数据，你能脑子长得更多，就是你能得到更多的智能。
啊，你同样吃下一样多的数据，你能脑子长得更多，就是你能得到更多的智能。
会跟之前有一些思路不太一样，就是说比如比如说你现在假设你在这个训练系统里面做很多的这个性能的优化，对吧？
会跟之前有一些思路不太一样，就是说比如比如说你现在假设你在这个训练系统里面做很多的这个性能的优化，对吧？
你让它训得更快啊，这个东西也很有价值。
你让它训得更快啊，这个东西也很有价值。
但是呃，训得更快本身它并不能提升智能的上限，因为你的你的TOKEN还是只有这么多，你训得更快，你最后只是说我在更短的时间内完成这个训练，但它的模型的效果并不一定会变得更好。
但是呃，训得更快本身它并不能提升智能的上限，因为你的你的TOKEN还是只有这么多，你训得更快，你最后只是说我在更短的时间内完成这个训练，但它的模型的效果并不一定会变得更好。
啊，所以这个是所谓的训练效率，或者说COMPUTE EFFICIENCY上的优化。
啊，所以这个是所谓的训练效率，或者说COMPUTE EFFICIENCY上的优化。
这个可能之前有有一些人做，那我们现在更多的是希望说去提升它的TOKEN EFFICIENCY，就是把一份数据当成好几份来用。
这个可能之前有有一些人做，那我们现在更多的是希望说去提升它的TOKEN EFFICIENCY，就是把一份数据当成好几份来用。
比如说我，所以我们很关注的像比如说MILAN的优化器，MILAN优化器就是这个东西它很有意思，就是它对TOKEN EFFICIENCY的提升是是比较大的。
比如说我，所以我们很关注的像比如说MILAN的优化器，MILAN优化器就是这个东西它很有意思，就是它对TOKEN EFFICIENCY的提升是是比较大的。
你可以认为就是说像ADAM这样的优化器可能已经用了十年。
你可以认为就是说像ADAM这样的优化器可能已经用了十年。
然后大家一直都在用，所有每就是大部分的模型都会用ADAM来训练啊。
然后大家一直都在用，所有每就是大部分的模型都会用ADAM来训练啊。
但是它的TO COFFEE FISHING并并不够好，对，就是没有，并不是把每个元素独立的去考虑。
但是它的TO COFFEE FISHING并并不够好，对，就是没有，并不是把每个元素独立的去考虑。
比如说一个矩阵的参数，它会就是考虑它们之间的DEPENDENCY，然后通过这种方式，你你其实是可以更好的。
比如说一个矩阵的参数，它会就是考虑它们之间的DEPENDENCY，然后通过这种方式，你你其实是可以更好的。
呃，有更好的学习效率。
呃，有更好的学习效率。
也就是说，你你你学同样一份数据，你能得到更多的智能。
也就是说，你你你学同样一份数据，你能得到更多的智能。
比如在我们早期的实验，如果你是在COMPUTE OPTIMAL的情况下啊，你基本上会有一个两倍的提升。
比如在我们早期的实验，如果你是在COMPUTE OPTIMAL的情况下啊，你基本上会有一个两倍的提升。
对，也就是说，你学一份数据就等于别人学两份数据，等于你用ADAM学两份数据。
对，也就是说，你学一份数据就等于别人学两份数据，等于你用ADAM学两份数据。
所以假设你有30T的高质量的TOKEN。
所以假设你有30T的高质量的TOKEN。
那你等价就是变成你现在有60T的高质量的TOKEN。
那你等价就是变成你现在有60T的高质量的TOKEN。
但它还是那么多数据啊。
但它还是那么多数据啊。
对对对但是它学了之后它会它的脑子会长得更快。
对对对但是它学了之后它会它的脑子会长得更快。
为什么呢。
为什么呢。
对就因为它的学习效率高因为你的优化器更好就是所以它会它它所谓就是它会吸收的更快就是你都是喂一样多的数据但是它就吸收的更好。
对就因为它的学习效率高因为你的优化器更好就是所以它会它它所谓就是它会吸收的更快就是你都是喂一样多的数据但是它就吸收的更好。
嗯所以你的压缩率会会涨得更快你的LOSS会降得更快。
嗯所以你的压缩率会会涨得更快你的LOSS会降得更快。
OK这个是美元创吗没有优化器。
OK这个是美元创吗没有优化器。
啊没有优化器是开了呃提出来的一个东西我们在上面做了很多的优化让它能够在很大规模的这个语言模型去适配和训练比如说呃。
啊没有优化器是开了呃提出来的一个东西我们在上面做了很多的优化让它能够在很大规模的这个语言模型去适配和训练比如说呃。
我们之前其实有一个MOONLIGHT的工作，就是让它能够第一次在有一定规模的语言模型下去训练。
我们之前其实有一个MOONLIGHT的工作，就是让它能够第一次在有一定规模的语言模型下去训练。
然后大家后来就是说我们那个在去进进一步规模化的过程中，发现有很多新的坑，比如说啊你发现它的MAX LOGIC可能会有这个爆炸的问题。
然后大家后来就是说我们那个在去进进一步规模化的过程中，发现有很多新的坑，比如说啊你发现它的MAX LOGIC可能会有这个爆炸的问题。
这个其实在小规模实验上你是很难得到对，但是你在大规模实验上你可能会会遇到这样的问题，然后可能我们就提出来一些新的，比如说CLIPPING的方式去。
这个其实在小规模实验上你是很难得到对，但是你在大规模实验上你可能会会遇到这样的问题，然后可能我们就提出来一些新的，比如说CLIPPING的方式去。
呃去去解它让它能够在一个非常大规模的情况下仍然能够很好的去训练这个是很重要的就是就是因为你的TOKEN数量有限所以你希望每一份TOKEN能能产生啊可能更大的价值吧嗯对然后包括就是说我们也会对数据做很多的这种呃REFRESH的操作就是啊因为高质量的数据你你比如说你有三十T TOKEN但是其实里面高质量的数据可能更少对吧你可能有有几十B.
呃去去解它让它能够在一个非常大规模的情况下仍然能够很好的去训练这个是很重要的就是就是因为你的TOKEN数量有限所以你希望每一份TOKEN能能产生啊可能更大的价值吧嗯对然后包括就是说我们也会对数据做很多的这种呃REFRESH的操作就是啊因为高质量的数据你你比如说你有三十T TOKEN但是其实里面高质量的数据可能更少对吧你可能有有几十B.
或者几百B这样很高这样的数据但你希望它能很好的使用嗯啊对所以我们就是对这些数据可能做了一些改写的操作让它能够更好的被模型吸收和有更好的泛化。
或者几百B这样很高这样的数据但你希望它能很好的使用嗯啊对所以我们就是对这些数据可能做了一些改写的操作让它能够更好的被模型吸收和有更好的泛化。
对我读了你们这个技术报告你们尝试已有模型改写现有数据生成新的语料嘛那这个具体的改写过程是什么样的改写策略是什么样这个其实你没有提。
对我读了你们这个技术报告你们尝试已有模型改写现有数据生成新的语料嘛那这个具体的改写过程是什么样的改写策略是什么样这个其实你没有提。
如如果你同一份数据学很多次它可能它可能泛化不一定那么好。
如如果你同一份数据学很多次它可能它可能泛化不一定那么好。
对，就是它它可能会有一些这个呃会会有一些过拟合的问题。
对，就是它它可能会有一些这个呃会会有一些过拟合的问题。
嗯，对，然后所以我们希望就是说你你通过这个改写，让它有一定有一定程度的泛化，改写有一定程度的泛化。
嗯，对，然后所以我们希望就是说你你通过这个改写，让它有一定有一定程度的泛化，改写有一定程度的泛化。
嗯，对，对，对。
嗯，对，对，对。
所以所以所以所以这个可能是一个主要的思想。
所以所以所以所以这个可能是一个主要的思想。
本来这具体改写的方式可能会有非常多种，就是我我们可能找到一种就是说在实验里面它效果比较好的，但觉得这个空间也很大，就是我觉得可以。
本来这具体改写的方式可能会有非常多种，就是我我们可能找到一种就是说在实验里面它效果比较好的，但觉得这个空间也很大，就是我觉得可以。
有非常多的研究的呃机会诶。
有非常多的研究的呃机会诶。
你怎么看待一种观点？
你怎么看待一种观点？
就是说改写和库中其实没用，能够写出来知识说明知识本身就在里面，没有新知识。
就是说改写和库中其实没用，能够写出来知识说明知识本身就在里面，没有新知识。
除非改写的时候用到其他方法。
除非改写的时候用到其他方法。
这个是一个很好的问题。
这个是一个很好的问题。
就是可能确实跟你的改写方式也有关系，理论上就是看你有没有新的这个商的这个输入。
就是可能确实跟你的改写方式也有关系，理论上就是看你有没有新的这个商的这个输入。
新的商的输入。
新的商的输入。
嗯，对对对。
嗯，对对对。
所以所以我觉得这个它对改写的方式是有一些要求，对。
所以所以我觉得这个它对改写的方式是有一些要求，对。
但但我觉得我们今天也不一定是就是说一定是最好的改写方式，就是我我觉得这里面还有很多可以去探索的空间。
但但我觉得我们今天也不一定是就是说一定是最好的改写方式，就是我我觉得这里面还有很多可以去探索的空间。
大家回到刚刚讲的点，就是我们说的这个K。
大家回到刚刚讲的点，就是我们说的这个K。
KR这个模型，我觉得一方面是希望它成为一个好的BASE MODEL。
KR这个模型，我觉得一方面是希望它成为一个好的BASE MODEL。
然后所以我们会很希望去提升它的TOKEN EFFICIENCY，这些是我们可能对应的设计，包括就是去加更多的这个通过更大的系数度去加更多的参数，那它的TOKEN EFFICIENCY也会更高，因为因为你参数多了之后，你虽然学一样多的数据，但是你你你也会吸收啊，就是你会吸收得更好，因为因为你有更大的这个。
然后所以我们会很希望去提升它的TOKEN EFFICIENCY，这些是我们可能对应的设计，包括就是去加更多的这个通过更大的系数度去加更多的参数，那它的TOKEN EFFICIENCY也会更高，因为因为你参数多了之后，你虽然学一样多的数据，但是你你你也会吸收啊，就是你会吸收得更好，因为因为你有更大的这个。
对，就反正你通过实验你可以验证它确实有更好的TALKING EFFICIENCY。
对，就反正你通过实验你可以验证它确实有更好的TALKING EFFICIENCY。
呃，然后所以所以这个是很重要。
呃，然后所以所以这个是很重要。
然后第二个就是我们希望它是一个好的、有好的AGENCY的能力强化学习，或者说对于这个工具和环境的这个模拟，让它能比较好的泛化性。
然后第二个就是我们希望它是一个好的、有好的AGENCY的能力强化学习，或者说对于这个工具和环境的这个模拟，让它能比较好的泛化性。
就是我我是觉得对于对于一个AGENCY模型来讲，可能现在最大的挑战其实是。
就是我我是觉得对于对于一个AGENCY模型来讲，可能现在最大的挑战其实是。
在模型的泛化上，对，就是就是因为现在的RL技术，我觉得它的局限性在于说你的你不管你的训练任务还是你的评价指标，它很多时候都是单点的。
在模型的泛化上，对，就是就是因为现在的RL技术，我觉得它的局限性在于说你的你不管你的训练任务还是你的评价指标，它很多时候都是单点的。
比如说你就训SWITCH，它要提升SWITCH，然后就是我觉得它是一个基本上很确定的东西。
比如说你就训SWITCH，它要提升SWITCH，然后就是我觉得它是一个基本上很确定的东西。
嗯，但是但是你的指标提升上去之后，并不意味着你的模型的泛化会变得更好。
嗯，但是但是你的指标提升上去之后，并不意味着你的模型的泛化会变得更好。
嗯，对，然后所以我们也尝试去可能解决一部分这种泛化的问题吧，就是。
嗯，对，然后所以我们也尝试去可能解决一部分这种泛化的问题吧，就是。
就，就是我们不希望说它过拟合到某一些工具，或者过拟合到某一些环境，或者过拟合到某一些具体的任务上。
就，就是我们不希望说它过拟合到某一些工具，或者过拟合到某一些环境，或者过拟合到某一些具体的任务上。
对，但这些任务可能是很好的观测，但是我们不希望去呃过拟合它。
对，但这些任务可能是很好的观测，但是我们不希望去呃过拟合它。
而且这个问题可能在AGENT的训练里面它更加严重，就是相比于可能之前的对话模型，它的好像。
而且这个问题可能在AGENT的训练里面它更加严重，就是相比于可能之前的对话模型，它的好像。
它的这个泛化是一个更大的挑战。
它的这个泛化是一个更大的挑战。
为什么不在printer里面去选？
为什么不在printer里面去选？
我我觉得这个也是接下来我们想探索的东西，对就是你有可能会有一些呃更多的agent能力是是可以在预训练阶段去。
我我觉得这个也是接下来我们想探索的东西，对就是你有可能会有一些呃更多的agent能力是是可以在预训练阶段去。
这可能提高泛化性吗？
这可能提高泛化性吗？
也取决于你的这个取决于你的做法就是取决于这个比如说你的数据的分布是不是足够的广泛以及就是有没有很好的方法去评估就是我认为现在整体的评估还是还会是一个瓶颈就是就是它是阻碍你的agent模型变得更加泛化的一个。
也取决于你的这个取决于你的做法就是取决于这个比如说你的数据的分布是不是足够的广泛以及就是有没有很好的方法去评估就是我认为现在整体的评估还是还会是一个瓶颈就是就是它是阻碍你的agent模型变得更加泛化的一个。
很重要的瓶颈。
很重要的瓶颈。
所以你会慢慢观察到，就是说你现在其实 agent 能能用的 benchmark 不是非常多，然后你你在那些 benchmark 上如果观察到一个分数，它其实很多时候它也并不是对这个能力的反应，它其实也比较片面。
所以你会慢慢观察到，就是说你现在其实 agent 能能用的 benchmark 不是非常多，然后你你在那些 benchmark 上如果观察到一个分数，它其实很多时候它也并不是对这个能力的反应，它其实也比较片面。
这个其实我觉得是可能大家要去想办法解决的一个问题。
这个其实我觉得是可能大家要去想办法解决的一个问题。
这里面可能有一种潜在的思路，就是说我们还是用更 ai native 的方式去训练 ai 吧。
这里面可能有一种潜在的思路，就是说我们还是用更 ai native 的方式去训练 ai 吧。
就是说可能我们希望让模型参与到更多的训练过程里面，就是因为这样，比比如说如果你的 ai 能够做很好的 alignment research 能能够做很好的对齐。
就是说可能我们希望让模型参与到更多的训练过程里面，就是因为这样，比比如说如果你的 ai 能够做很好的 alignment research 能能够做很好的对齐。
研究理论上它可能会有更好的泛化啊，你就不仅仅只是在优化一些单点的任务。
研究理论上它可能会有更好的泛化啊，你就不仅仅只是在优化一些单点的任务。
我我觉得这个是A下一步可能非常重要的一个点，就是它今天可能还不像对话一样有这么好的泛化性。
我我觉得这个是A下一步可能非常重要的一个点，就是它今天可能还不像对话一样有这么好的泛化性。
呃，对，这可会是接下来可能就雪山上的这个几百个台阶。
呃，对，这可会是接下来可能就雪山上的这个几百个台阶。
有可能是这个听起来K一点五是在跟着OpenAI跑，然后K TWO是在强跑。
有可能是这个听起来K一点五是在跟着OpenAI跑，然后K TWO是在强跑。
是吗？
是吗？
我我觉得整体就是说肯定我们还是也是借鉴了很多技术上的这个。
我我觉得整体就是说肯定我们还是也是借鉴了很多技术上的这个。
方向，但是在这里面我们也希望能有一些自己的创新。
方向，但是在这里面我们也希望能有一些自己的创新。
比如说至少我们可能是公开的所有能看到的资料里面，就是说第一个去使用这种非Adam的，或者说基于这种矩阵正交化的方式去做这个新的优化器，然后在这么大规模的模型上去训练。
比如说至少我们可能是公开的所有能看到的资料里面，就是说第一个去使用这种非Adam的，或者说基于这种矩阵正交化的方式去做这个新的优化器，然后在这么大规模的模型上去训练。
我觉得这个还是一个创新的地方，然后包括可能我们一些agent数据的做法，呃至少在公开可查的资料里面也是也是比较早去做的。
我觉得这个还是一个创新的地方，然后包括可能我们一些agent数据的做法，呃至少在公开可查的资料里面也是也是比较早去做的。
嗯对，因为我觉得这空间还有越来越大，就是当就很有意思，就是说当你的越往上爬的时候，你发现就是你的你的空间是在变大。
嗯对，因为我觉得这空间还有越来越大，就是当就很有意思，就是说当你的越往上爬的时候，你发现就是你的你的空间是在变大。
首先它token在变多嘛，你完成同一个任务的token是在变多的，所以它的问题的复杂度是变得更复杂。
首先它token在变多嘛，你完成同一个任务的token是在变多的，所以它的问题的复杂度是变得更复杂。
就像刚刚讲的就是问题不可避免，但是问题总可以被解决，就是说你这个不可避免的问题看起来会。
就像刚刚讲的就是问题不可避免，但是问题总可以被解决，就是说你这个不可避免的问题看起来会。
比之前可能更多一些，所以你的研究空间可能会更大。
比之前可能更多一些，所以你的研究空间可能会更大。
对，这是我现在的一些直观的一个感受吧。
对，这是我现在的一些直观的一个感受吧。
K二是怎么理想的？
K二是怎么理想的？
筹备了多长时间？
筹备了多长时间？
筹备可能比较长时间了，就是以很多这里面很多涉及到很多技术，可能我们从去年就开始在研究一个一个技术，就比如说你像MILLION CLIP这样的技术，它需要经过一个比较长的周期。
筹备可能比较长时间了，就是以很多这里面很多涉及到很多技术，可能我们从去年就开始在研究一个一个技术，就比如说你像MILLION CLIP这样的技术，它需要经过一个比较长的周期。
展开剩余字幕（还有 480 条）
你一开始可能就是做一些非常早期的实验，然后你发现这个想法好像有一些潜力，对吧？
你一开始可能就是做一些非常早期的实验，然后你发现这个想法好像有一些潜力，对吧？
就我们会有一些小的实验能够去验证这个想法的潜力到底有多好。
就我们会有一些小的实验能够去验证这个想法的潜力到底有多好。
你你有这个想法之后，它其实到你最后能够去把它放到一个万亿模型里面去训练，它只是要经过很长的周期，你你要通过不同的SCALING实验去验证它的有效性。
你你有这个想法之后，它其实到你最后能够去把它放到一个万亿模型里面去训练，它只是要经过很长的周期，你你要通过不同的SCALING实验去验证它的有效性。
然后像我说的就是可能有一些问题，你只有当你SCALE到一定的规模之后才会发现。
然后像我说的就是可能有一些问题，你只有当你SCALE到一定的规模之后才会发现。
嗯，所以整个东西这个周期其实是比较长。
嗯，所以整个东西这个周期其实是比较长。
当然就如果你看。
当然就如果你看。
你你只看这个模型本身，它的它这个训练从开始按下那个训练的按钮到结束。
你你只看这个模型本身，它的它这个训练从开始按下那个训练的按钮到结束。
那其实其实时间倒没有那么长，是你整体的研发其实是需要更前置做很多事情，才能最后保证你这个训练是一个比较顺利的过程。
那其实其实时间倒没有那么长，是你整体的研发其实是需要更前置做很多事情，才能最后保证你这个训练是一个比较顺利的过程。
整体LLM这个的BUT是什么时候开始的？
整体LLM这个的BUT是什么时候开始的？
也要做很多的积累了。
也要做很多的积累了。
对，就是可能像。
对，就是可能像。
呃，但但只是说你不同时间点的做法可能会不太一样。
呃，但但只是说你不同时间点的做法可能会不太一样。
比比如说你一开始可能并不一定非常端到端的去做，但是可能你积累一些环境和数据，但你到后面可以更端到端的去做强化学习。
比比如说你一开始可能并不一定非常端到端的去做，但是可能你积累一些环境和数据，但你到后面可以更端到端的去做强化学习。
那你中间需要很多基建，还有很多这个数据呃的的积累的过程，但这个东西它肯定很难说你一两个月做的非常好，也也是需要时间积累的。
那你中间需要很多基建，还有很多这个数据呃的的积累的过程，但这个东西它肯定很难说你一两个月做的非常好，也也是需要时间积累的。
就我我整体觉得就是。
就我我整体觉得就是。
那大模型或者相关的这些技术它的它是挺需要时间积累的就是还是还是要做时间朋友吧就是就是你要不断积累这个东西然后它是相对我觉得技术的曲线是还是有点陡峭的就并不是说我我今天想做就能把它做。
那大模型或者相关的这些技术它的它是挺需要时间积累的就是还是还是要做时间朋友吧就是就是你要不断积累这个东西然后它是相对我觉得技术的曲线是还是有点陡峭的就并不是说我我今天想做就能把它做。
出来所以什么时候立项的。
出来所以什么时候立项的。
就首先我们可能去积累这些技术然后呃不是就是一年前开始积累各种技术我觉得对然后但是你说K2这个东西肯定是那就是最近几个月我们决决定要去训一个这样的模型然后。
就首先我们可能去积累这些技术然后呃不是就是一年前开始积累各种技术我觉得对然后但是你说K2这个东西肯定是那就是最近几个月我们决决定要去训一个这样的模型然后。
把哪些技术用上我觉得大概是这样的一个决策但是你你不是说我今天想训这个模型OK然后我再从零去搞很多东西那他可能就不是两两三个月能解决的问题。
把哪些技术用上我觉得大概是这样的一个决策但是你你不是说我今天想训这个模型OK然后我再从零去搞很多东西那他可能就不是两两三个月能解决的问题。
为什么立这个项当时。
为什么立这个项当时。
是呃我我觉得也很正常因为我们就一直训练下一代模型嘛那你其实无非就是决策就是说哎我下一代模型到底是。
是呃我我觉得也很正常因为我们就一直训练下一代模型嘛那你其实无非就是决策就是说哎我下一代模型到底是。
我到底是要加入哪些哪些技术然后你期待它是一个什么样的模型就跟现在我们也会去考虑我们这K2之后下一代模型到底长什么样对吧这个是一个持续要思考的决策的问题然后你可能每次就是看哦现在你工具箱里面其实哎又多了很多新的东西那你到底要哪把哪些东西拿出来用就是就是有一个这样的。
我到底是要加入哪些哪些技术然后你期待它是一个什么样的模型就跟现在我们也会去考虑我们这K2之后下一代模型到底长什么样对吧这个是一个持续要思考的决策的问题然后你可能每次就是看哦现在你工具箱里面其实哎又多了很多新的东西那你到底要哪把哪些东西拿出来用就是就是有一个这样的。
过程哎那你们做研究和做训练的团队是分开的吗就是他他们是一个什么样的过程就是嗯。
过程哎那你们做研究和做训练的团队是分开的吗就是他他们是一个什么样的过程就是嗯。
因为一年前就已经开始研究这些技术了嘛，那到正式训练这是一个团队在做这件事情吗？
因为一年前就已经开始研究这些技术了嘛，那到正式训练这是一个团队在做这件事情吗？
对对，其实是一个团队在做。
对对，其实是一个团队在做。
对就是因为因为这些东西它很难分开嘛，就是比如说你你你在实际训练过程中你会遇到这个问题，如果你之前都不了解你没有办法去解决它。
对就是因为因为这些东西它很难分开嘛，就是比如说你你你在实际训练过程中你会遇到这个问题，如果你之前都不了解你没有办法去解决它。
嗯啊，所以实际上这两个并不会分开。
嗯啊，所以实际上这两个并不会分开。
黑度过程中有遇到什么挑战没有？
黑度过程中有遇到什么挑战没有？
呃，就是我们遇到就是那个你去训的时候它就会炸。
呃，就是我们遇到就是那个你去训的时候它就会炸。
就，就是我们那我们那个都有画一些图在那个PAPER里面。
就，就是我们那我们那个都有画一些图在那个PAPER里面。
就是说你那个MATH LOGIC就会涨得非常高，然后就是我们认为这个东西对训练的稳定性有影响。
就是说你那个MATH LOGIC就会涨得非常高，然后就是我们认为这个东西对训练的稳定性有影响。
你你你你可能训久了，它很多就所谓的这个内科指标不正常的话，其实对模型的上限是有害的。
你你你你可能训久了，它很多就所谓的这个内科指标不正常的话，其实对模型的上限是有害的。
嗯，对，然后我们就是说等于是我又回过头去REVISIT，呃，去重新看这个问题，然后去。
嗯，对，然后我们就是说等于是我又回过头去REVISIT，呃，去重新看这个问题，然后去。
去修复它，这因为这个东西是你在小规模实验上没有办法预测的。
去修复它，这因为这个东西是你在小规模实验上没有办法预测的。
因为小规模上我们没法复现这个结果，嗯，对，小它它就是不会有这个爆炸的问题。
因为小规模上我们没法复现这个结果，嗯，对，小它它就是不会有这个爆炸的问题。
然后其他的基本还好，因为其他的我们都在小规模上做了很多实验，然后它基本上也是可以迁移的，所以问题就不是很大。
然后其他的基本还好，因为其他的我们都在小规模上做了很多实验，然后它基本上也是可以迁移的，所以问题就不是很大。
就唯一有这个是小规模上验证不了，所以你需要在SCALE过程中再去零去解决。
就唯一有这个是小规模上验证不了，所以你需要在SCALE过程中再去零去解决。
诶，在K2训练过程中最重要的几个弄号是什么？
诶，在K2训练过程中最重要的几个弄号是什么？
这个的话我就写在paper里了，就是我们都很open的就是主要的东西写在paper里面，我因为我们还是想跟更多跟社区去分享对。
这个的话我就写在paper里了，就是我们都很open的就是主要的东西写在paper里面，我因为我们还是想跟更多跟社区去分享对。
我很好奇你你会怎么定义agent以及怎么对agent进行分类？
我很好奇你你会怎么定义agent以及怎么对agent进行分类？
好问题对就是其实像我刚说的就是它可能是一个就是从一个缸中之鸟变成可以跟世界交互，因为所谓agent它其实就是最重要的特征就是它可以去多轮的使用工具，所以它我觉得两个一个就是一个是多轮一个是工具，嗯多轮就是你能做很多次。
好问题对就是其实像我刚说的就是它可能是一个就是从一个缸中之鸟变成可以跟世界交互，因为所谓agent它其实就是最重要的特征就是它可以去多轮的使用工具，所以它我觉得两个一个就是一个是多轮一个是工具，嗯多轮就是你能做很多次。
啊，这是一种TEST TIME SKATING的方式。
啊，这是一种TEST TIME SKATING的方式。
然后工具就是，其实你是连接这个脑跟外部世界的一个方式。
然后工具就是，其实你是连接这个脑跟外部世界的一个方式。
呃，比如说你用搜索引擎，那你就你就可以把这个模型跟整个互联网连接起来。
呃，比如说你用搜索引擎，那你就你就可以把这个模型跟整个互联网连接起来。
嗯，然后你如果呃，就是你你可以写代码，那你就可以把这个脑跟这个数字，因为这个数就数字世界，基本所有自动化都都可以用代码描述嘛。
嗯，然后你如果呃，就是你你可以写代码，那你就可以把这个脑跟这个数字，因为这个数就数字世界，基本所有自动化都都可以用代码描述嘛。
那那你你就可以让它拥有这种自动化的能力。
那那你你就可以让它拥有这种自动化的能力。
所以我觉得这两个是我想象中可能这个AGENT的特征，那你接下来就会会有更越来越多的工具对吧？
所以我觉得这两个是我想象中可能这个AGENT的特征，那你接下来就会会有更越来越多的工具对吧？
当然你你会有长尾的一个分布吧，就是啊，这个模型如果泛化的好的话，它就不只是使用一些常见的工具，它可能可以使用非常个性化的工具，比如说啊，假设你今天要有一个。
当然你你会有长尾的一个分布吧，就是啊，这个模型如果泛化的好的话，它就不只是使用一些常见的工具，它可能可以使用非常个性化的工具，比如说啊，假设你今天要有一个。
呃就是非常具体问题比如说你想让这个模型能够访问你公司内部的一些数据库或者你个人的一些文档啊然后能够甚至是访问一些你这个定制的API让它能完成某一些业务的操作比如说去退票啊或者就是去下一个订单啊这种就是它应该是能够泛化到它没有见过的工具上对。
呃就是非常具体问题比如说你想让这个模型能够访问你公司内部的一些数据库或者你个人的一些文档啊然后能够甚至是访问一些你这个定制的API让它能完成某一些业务的操作比如说去退票啊或者就是去下一个订单啊这种就是它应该是能够泛化到它没有见过的工具上对。
然后，所以我一直在想，就就我觉得agent现在可能最缺的其实是这种泛化的能力。
然后，所以我一直在想，就就我觉得agent现在可能最缺的其实是这种泛化的能力。
但如果你有更好的泛化的话，那其实所谓的比如说之前大家在讨论各种垂直的agent，它可能就不一定非常需要。
但如果你有更好的泛化的话，那其实所谓的比如说之前大家在讨论各种垂直的agent，它可能就不一定非常需要。
就是因为当你你这个通用的agent，它能去泛化到长尾的工具上，那基本上你很多。
就是因为当你你这个通用的agent，它能去泛化到长尾的工具上，那基本上你很多。
呃，领域专有的问题当然是可以直接用这些工具去解决的。
呃，领域专有的问题当然是可以直接用这些工具去解决的。
你只是每次给它加不同的工具，比如就像我说的，你加你可能这个定制的数据库、定制的API、定制的这些文档的接口什么，你就可以完成一个非常垂直的一个一个AGENT。
你只是每次给它加不同的工具，比如就像我说的，你加你可能这个定制的数据库、定制的API、定制的这些文档的接口什么，你就可以完成一个非常垂直的一个一个AGENT。
嗯，对它的这个啊，普适性就会强很多。
嗯，对它的这个啊，普适性就会强很多。
然后多轮主要是你可以做TEST TIME SKATING，就是你可以做很复杂的任务，不只是只是做一次，就像对话模型一样，我就只是输出了一轮对吧？
然后多轮主要是你可以做TEST TIME SKATING，就是你可以做很复杂的任务，不只是只是做一次，就像对话模型一样，我就只是输出了一轮对吧？
但它现在是可以做不同的事情，就跟人一样，就是人每天的工作，其实就是你可以认为它就是一个。
但它现在是可以做不同的事情，就跟人一样，就是人每天的工作，其实就是你可以认为它就是一个。
多轮使用工具的序列嘛，本质上你是你是希望把人的这个序列给它拟合进去。
多轮使用工具的序列嘛，本质上你是你是希望把人的这个序列给它拟合进去。
但你又收集不到这样的数字化数据的话，那你就可以用强化学习来构造。
但你又收集不到这样的数字化数据的话，那你就可以用强化学习来构造。
对，就就是它本质上是在模拟人的行为，但它它也是一个很通用的，它是一个。
对，就就是它本质上是在模拟人的行为，但它它也是一个很通用的，它是一个。
对你也不能说叫模拟人，对叫模拟人的行为可能不太准确，就是因为它它只是个通用的。
对你也不能说叫模拟人，对叫模拟人的行为可能不太准确，就是因为它它只是个通用的。
什么叫它是通用的？
什么叫它是通用的？
所以不是模拟人人也很通用啊。
所以不是模拟人人也很通用啊。
对就对人也是人也是通用，人人是一个所谓的universal constructor，就它的主要目的不是去模拟人，它主要目的是通用。
对就对人也是人也是通用，人人是一个所谓的universal constructor，就它的主要目的不是去模拟人，它主要目的是通用。
就是说它这个这个形式化就是这个这个这个定义本身它是通用，它可以完成几乎所有的任务。
就是说它这个这个形式化就是这个这个这个定义本身它是通用，它可以完成几乎所有的任务。
嗯啊对，所以这个这个可能才是这个设计的目的，就是说它跟人的做法。
嗯啊对，所以这个这个可能才是这个设计的目的，就是说它跟人的做法。
类似这只可能只是一个只是一个刚好的结果并不是说设计这个系统的目的。
类似这只可能只是一个只是一个刚好的结果并不是说设计这个系统的目的。
啊就是设计飞机是为了能够呃当做一个交通工具它并不是为了像鸟一样能飞。
啊就是设计飞机是为了能够呃当做一个交通工具它并不是为了像鸟一样能飞。
对所以你我们有这个agent的系统它更多的是通用general purpose的一个智能就是你是跟这个目标对齐的但是它刚好跟人是一样相似的刚好跟人是相似的嗯。
对所以你我们有这个agent的系统它更多的是通用general purpose的一个智能就是你是跟这个目标对齐的但是它刚好跟人是一样相似的刚好跟人是相似的嗯。
怎么提高通用性呃有探索到什么方法没有。
怎么提高通用性呃有探索到什么方法没有。
对，我觉得这是一个很难的问题。
对，我觉得这是一个很难的问题。
就是我觉得今天AGENT的泛化有一个风险，就是会会陷入到可能有一些BENCHMARK的这个过拟合里面。
就是我觉得今天AGENT的泛化有一个风险，就是会会陷入到可能有一些BENCHMARK的这个过拟合里面。
但是但是现在又可能缺少很好的BENCHMARK，所以我我觉得这个会是接下来的挑战。
但是但是现在又可能缺少很好的BENCHMARK，所以我我觉得这个会是接下来的挑战。
但我我觉得可能有一些解法，就是如果我还是觉得如果能用更多的用AI去训练AI。
但我我觉得可能有一些解法，就是如果我还是觉得如果能用更多的用AI去训练AI。
嗯那一定程度上缓解这个问题。
嗯那一定程度上缓解这个问题。
什么时候能做到用AI训练AI现在的瓶颈是什么？
什么时候能做到用AI训练AI现在的瓶颈是什么？
呃现在其实已经有一部分你是可以这样做嘛但是就是你希望他有更多的这样去做。
呃现在其实已经有一部分你是可以这样做嘛但是就是你希望他有更多的这样去做。
嗯对就是也现在很多还是要靠人的设计嘛。
嗯对就是也现在很多还是要靠人的设计嘛。
这就到innovator那个阶段了。
这就到innovator那个阶段了。
所以这很有意思就是说他其实有可能不是线性你你要用一些innovation的方式去解决你的agent问题对因为今天你的agent算化不够所以你要用innovation的方式解决它就是你用L4的技术去解决一个L3所以所以我觉得L1到L5这个定义有可能它真的不是线性的。
所以这很有意思就是说他其实有可能不是线性你你要用一些innovation的方式去解决你的agent问题对因为今天你的agent算化不够所以你要用innovation的方式解决它就是你用L4的技术去解决一个L3所以所以我觉得L1到L5这个定义有可能它真的不是线性的。
对就是又回到刚刚说的那个点就是你没有这个。
对就是又回到刚刚说的那个点就是你没有这个。
很好的 innovation，没有用 ai 去训练或者 ai 对齐 ai 的方式的话，它可能它可能这个 agent 它就是很难做到特别好的泛化。
很好的 innovation，没有用 ai 去训练或者 ai 对齐 ai 的方式的话，它可能它可能这个 agent 它就是很难做到特别好的泛化。
就你今天发现就是你人工定义了一些 task，然后你就 fit 那个 task，但是你在别的，你可能看不见的 task 上，它就不可能，也有可能表现没有那么好。
就你今天发现就是你人工定义了一些 task，然后你就 fit 那个 task，但是你在别的，你可能看不见的 task 上，它就不可能，也有可能表现没有那么好。
然后但是你只你只 fit 那些 task，你就只只刷那几个 task 的分，其实很多时候用户，或者说你在一些更 ood 的场景里面，他体感就是没有那么好。
然后但是你只你只 fit 那些 task，你就只只刷那几个 task 的分，其实很多时候用户，或者说你在一些更 ood 的场景里面，他体感就是没有那么好。
我我是觉得现在这个领域确实面临，就是可能这个 benchmark 不够用，或者 benchmark 失效，然后。
我我是觉得现在这个领域确实面临，就是可能这个 benchmark 不够用，或者 benchmark 失效，然后。
就AGENT的泛化有问题，这样的一个阶段。
就AGENT的泛化有问题，这样的一个阶段。
为什么数学代码是相对容易泛化的领域？
为什么数学代码是相对容易泛化的领域？
其实也没有，就是就是你如果你如果做强化学习，它现在就还我觉得会有一样的问题，就是对于这些任务。
其实也没有，就是就是你如果你如果做强化学习，它现在就还我觉得会有一样的问题，就是对于这些任务。
然后嗯，当然就是说强化学习本身它的泛化性要比比如做SFT要好，就是因为你在这个过程中有更多的ON POLICY的SAMPLE，就是你从模型本身去SAMPLE它，它学出来的东西SAMPLE现在看起来是更好泛化，而且你有负梯度。
然后嗯，当然就是说强化学习本身它的泛化性要比比如做SFT要好，就是因为你在这个过程中有更多的ON POLICY的SAMPLE，就是你从模型本身去SAMPLE它，它学出来的东西SAMPLE现在看起来是更好泛化，而且你有负梯度。
就这两个东西，会导致从视角中证据上来看它的泛化会好。
就这两个东西，会导致从视角中证据上来看它的泛化会好。
但是它的泛化还是有限度的，就比如说你你今天就是假设在某一种类型的数学竞赛上做到99分，那你别的数学问题可能会提升5个点，但是它很难直接也做到99分。
但是它的泛化还是有限度的，就比如说你你今天就是假设在某一种类型的数学竞赛上做到99分，那你别的数学问题可能会提升5个点，但是它很难直接也做到99分。
就是你如果不不做对应的IO的任务进去的话，它就很难。
就是你如果不不做对应的IO的任务进去的话，它就很难。
很难直接做到这样的一个泛化性。
很难直接做到这样的一个泛化性。
我我是觉得，呃，也仍然有一样的问题，就是你说做数学题，它也有仍然有一样的问题，就是它是被分布所制约的一个东西。
我我是觉得，呃，也仍然有一样的问题，就是你说做数学题，它也有仍然有一样的问题，就是它是被分布所制约的一个东西。
就所谓就是说你还是种瓜得瓜，种豆得豆。
就所谓就是说你还是种瓜得瓜，种豆得豆。
但是我们希望就是我我是现在就是我我觉得整体的IO或者POST TRAINING。
但是我们希望就是我我是现在就是我我觉得整体的IO或者POST TRAINING。
还是需要有更多的AI来让他能够摆脱这种种瓜得瓜这样的一个情况。
还是需要有更多的AI来让他能够摆脱这种种瓜得瓜这样的一个情况。
会不会摆脱不了？
会不会摆脱不了？
会不会就是提高不了防滑性？
会不会就是提高不了防滑性？
就是还是回到刚刚说的嘛，就是问题是不可避免的，但问题是可以被解决。
就是还是回到刚刚说的嘛，就是问题是不可避免的，但问题是可以被解决。
所以就是你每次会往前推进，你泛化就是会变得更好，它可能是一个它不一定有尽头，对，就是你只会有更好的泛化。
所以就是你每次会往前推进，你泛化就是会变得更好，它可能是一个它不一定有尽头，对，就是你只会有更好的泛化。
对于agent来说，任务和环境非常重要，怎么定义好的任务？
对于agent来说，任务和环境非常重要，怎么定义好的任务？
怎么定义好的环境？
怎么定义好的环境？
你在探索过程中有没有什么思考？
你在探索过程中有没有什么思考？
就回到刚刚讲，就是说呃，就是你一种方式是说给定一个模型，然后我去设计一些环境去反逆向去拟合这个模型。
就回到刚刚讲，就是说呃，就是你一种方式是说给定一个模型，然后我去设计一些环境去反逆向去拟合这个模型。
然后那你可以就是现在你可能正向的设计，假设你是一方的做，你就正向的设计一些工具环境，嗯，然后让模型在这个环境里面去提升。
然后那你可以就是现在你可能正向的设计，假设你是一方的做，你就正向的设计一些工具环境，嗯，然后让模型在这个环境里面去提升。
可能很重要的还是说让这个设计。
可能很重要的还是说让这个设计。
有更好的通用性，就他能做很多的任务。
有更好的通用性，就他能做很多的任务。
就是他不应该是说为了某一些任务去专门的设计这个工具环境，然后呃当你的这个设计足够通用的时候，呃然后你用模型去在这个过程中去学，而而不是可能反过来去拟合这个模型。
就是他不应该是说为了某一些任务去专门的设计这个工具环境，然后呃当你的这个设计足够通用的时候，呃然后你用模型去在这个过程中去学，而而不是可能反过来去拟合这个模型。
我觉得这样可能会是一个更好的做法。
我觉得这样可能会是一个更好的做法。
诶，我注意到一点啊，就是一般他们觉得在任务设计上。
诶，我注意到一点啊，就是一般他们觉得在任务设计上。
你设计一个足够有挑战的任务，这样这个任务可能会做出有本质的新的方法。
你设计一个足够有挑战的任务，这样这个任务可能会做出有本质的新的方法。
但是你们的这个K2其实是用的一些中等难度的任务，这是有什么思考吗？
但是你们的这个K2其实是用的一些中等难度的任务，这是有什么思考吗？
这个会带来通用性吗？
这个会带来通用性吗？
会就是他那他也是一个爬山的过程，就是OK，就是你不能一上来就让他去证明一个就是还没有人证明过的数学问题，然后他可能这个sample efficiency就会非常非常低。
会就是他那他也是一个爬山的过程，就是OK，就是你不能一上来就让他去证明一个就是还没有人证明过的数学问题，然后他可能这个sample efficiency就会非常非常低。
所以现在感觉比较好的方式只是说其实强化学习。
所以现在感觉比较好的方式只是说其实强化学习。
如果你搭配好的 sample 策略，它本质上是一个影视的课程学习的机制，希望它，就所谓 curriculum learning，就是你你希望它从合适难度开始学，然后学完逐渐去提升它的难度。
如果你搭配好的 sample 策略，它本质上是一个影视的课程学习的机制，希望它，就所谓 curriculum learning，就是你你希望它从合适难度开始学，然后学完逐渐去提升它的难度。
而不是你一上来就学非常难，因为那样的你的你你的采样效率很低，就基本上学不到什么东西，你的可能算力都会被浪费掉。
而不是你一上来就学非常难，因为那样的你的你你的采样效率很低，就基本上学不到什么东西，你的可能算力都会被浪费掉。
对，嗯，但这个挑战还是说今天的很多任务，我觉得它还是来自于，比如说人类存量的数据，或者说人去设计的一些任务。
对，嗯，但这个挑战还是说今天的很多任务，我觉得它还是来自于，比如说人类存量的数据，或者说人去设计的一些任务。
而不是就这里面可能AI NATIVE的部分还比较少，所以会带来刚刚说的泛化性的问题吧。
而不是就这里面可能AI NATIVE的部分还比较少，所以会带来刚刚说的泛化性的问题吧。
我扣点A卷和通用A卷是什么关系啊？
我扣点A卷和通用A卷是什么关系啊？
扣点可能是一个比较垂直的，就或者说它是一个子集对，然后它你你只要把两个工具用得足够好，你就能做大部分的事情。
扣点可能是一个比较垂直的，就或者说它是一个子集对，然后它你你只要把两个工具用得足够好，你就能做大部分的事情。
最后还是希望说能够。
最后还是希望说能够。
不光只是说coding对包括现在我们去训练这个模型我们也不是说让他只能做coding因为他的呃局限还是会有一些局限性。
不光只是说coding对包括现在我们去训练这个模型我们也不是说让他只能做coding因为他的呃局限还是会有一些局限性。
coding是相当于一个环境。
coding是相当于一个环境。
它是。
它是。
相当于人类的手。
相当于人类的手。
对它是任务的一个子集对但它可能是很重要的一个子。
对它是任务的一个子集对但它可能是很重要的一个子。
集它这个相对对于agent来说比较容易的任务是。
集它这个相对对于agent来说比较容易的任务是。
吗比较好验证所以所以比较好学习对但是它还是会有一样挑战就比如说我我刚刚讲的这个泛化性的问题它还是会我觉得即便是codingagent它也会面临一样的挑战然后coding是很重要的一个子集是在于说。
吗比较好验证所以所以比较好学习对但是它还是会有一样挑战就比如说我我刚刚讲的这个泛化性的问题它还是会我觉得即便是codingagent它也会面临一样的挑战然后coding是很重要的一个子集是在于说。
就是，就是它代表了可能数字世界的自动化。
就是，就是它代表了可能数字世界的自动化。
呃，你今天假设你想创建一个新的工具，呃，因为你现在很多AGENT它的工具集合是一个固定的嘛？
呃，你今天假设你想创建一个新的工具，呃，因为你现在很多AGENT它的工具集合是一个固定的嘛？
对，然后如果你想创建一个新的工具，它本质上是写一段、写写一段或者一大段代码来实现，或者如果你今天想做更好的。
对，然后如果你想创建一个新的工具，它本质上是写一段、写写一段或者一大段代码来实现，或者如果你今天想做更好的。
啊，比如说上下文管理对吧？
啊，比如说上下文管理对吧？
或者所谓的CONTEXT ENGINEERING这个东西，它可能背后对应的也是一个工具。
或者所谓的CONTEXT ENGINEERING这个东西，它可能背后对应的也是一个工具。
这个工具可能也用代码来实现，就是代码在这里面它有它有有一个独特的位置、独特的作用。
这个工具可能也用代码来实现，就是代码在这里面它有它有有一个独特的位置、独特的作用。
但是并不是说你做了CODING AGENT就足够，呃，因为很多比如今天大家用也有很多不是程序员的人，他会用CLOCK CODE去做很多他的任务。
但是并不是说你做了CODING AGENT就足够，呃，因为很多比如今天大家用也有很多不是程序员的人，他会用CLOCK CODE去做很多他的任务。
呃你你是一个律师或者你是一个产品经理或者你是一个设计师你也会用block code去做一些事情是因为你的模型是上是一定程度上有一些有一些泛化它不仅只是是会写写代码。
呃你你是一个律师或者你是一个产品经理或者你是一个设计师你也会用block code去做一些事情是因为你的模型是上是一定程度上有一些有一些泛化它不仅只是是会写写代码。
所以你们是要做通用age的模型并不是说要做一个coding的模型。
所以你们是要做通用age的模型并不是说要做一个coding的模型。
对吧我们还是希望能。
对吧我们还是希望能。
呃，就是做通用的模型。
呃，就是做通用的模型。
从写代码到操控整个数字世界。
从写代码到操控整个数字世界。
你觉得AG还缺乏什么能力啊？
你觉得AG还缺乏什么能力啊？
一是我觉得首先现在这些高频的工具使用也还不够好，能力上还有很大的空间。
一是我觉得首先现在这些高频的工具使用也还不够好，能力上还有很大的空间。
然后这一方面也是说现在缺少一些更好的BENCHMARK来观测吧。
然后这一方面也是说现在缺少一些更好的BENCHMARK来观测吧。
就是你可能SWEEP BENCH三号现在也也可能马上会有SATURDAY，就会会饱和，然后有很多BENCH它不够好、不够真实的反应就是。
就是你可能SWEEP BENCH三号现在也也可能马上会有SATURDAY，就会会饱和，然后有很多BENCH它不够好、不够真实的反应就是。
实际的用户体验然后所以我觉得高频高频工具本身会有空间然后长尾的工具就是在一些可能你没有见过完全OD的怎么有更好的泛化我觉得也也是可能很重要需要解决的问题。
实际的用户体验然后所以我觉得高频高频工具本身会有空间然后长尾的工具就是在一些可能你没有见过完全OD的怎么有更好的泛化我觉得也也是可能很重要需要解决的问题。
你你自己最看重能提升agent能力的是哪几个关键能力啊。
你你自己最看重能提升agent能力的是哪几个关键能力啊。
长期来看让他的能力提升。
长期来看让他的能力提升。
希望能用innovation这一层的一些技术去提升agent这一层的能力。
希望能用innovation这一层的一些技术去提升agent这一层的能力。
对所以希望呃我觉得这个可能是很重要的一个方向。
对所以希望呃我觉得这个可能是很重要的一个方向。
LONG CONTEXT LONG TERM MEMORY重要吗？
LONG CONTEXT LONG TERM MEMORY重要吗？
LONG CONTEXT也很重要就是因为现在就是因为很多任务你你128K 256K这种CONTEXT完全是解决不了你需要可能比如百万级别这样或者甚至更多但是你又需要在这个级别下你还你的脑子还非常好用。
LONG CONTEXT也很重要就是因为现在就是因为很多任务你你128K 256K这种CONTEXT完全是解决不了你需要可能比如百万级别这样或者甚至更多但是你又需要在这个级别下你还你的脑子还非常好用。
就是它不能只是说长，但是你、你、你可能脑子还得非常好用，就是你的、你的智商还得非常高。
就是它不能只是说长，但是你、你、你可能脑子还得非常好用，就是你的、你的智商还得非常高。
对，所以这个对于模型的训练是挑战是很大的，就是你要让它希望你的压缩率足够高，所以你的、你的模型可能要足够大。
对，所以这个对于模型的训练是挑战是很大的，就是你要让它希望你的压缩率足够高，所以你的、你的模型可能要足够大。
嗯，然后同时你又希望它也比较长，对吧？
嗯，然后同时你又希望它也比较长，对吧？
所以就是这这个这两个东西，它是天然会存在一些冲突，那你需要可能需要更好的架构。
所以就是这这个这两个东西，它是天然会存在一些冲突，那你需要可能需要更好的架构。
但是有一些架构，可能你发现就是它在更长的CONTACT下可能效果会有提升，但是你短的CONTACT有可能又不一定会有提升，或者甚至会有下降。
但是有一些架构，可能你发现就是它在更长的CONTACT下可能效果会有提升，但是你短的CONTACT有可能又不一定会有提升，或者甚至会有下降。
所以就会有很多这种可能架构上的一些一些平衡的问题，对？
所以就会有很多这种可能架构上的一些一些平衡的问题，对？
但这些问题可能也会接下来逐渐被解决，我觉得它是有一些解法。
但这些问题可能也会接下来逐渐被解决，我觉得它是有一些解法。
对所以这个这个也呃也很重要这个可能是一个architecture上的一个支持嗯还有就是我觉得现在的RL训练方式肯定也会有很大的提升空间吧比如说啊当你要训练一个很复杂的multiagent的系统的时候对吧那你只是用端到端的reward它可能就是不太够但中间的reward怎么产生啊是不是能摆脱一些人工的设计我觉得也也会是很有意思的挑战。
对所以这个这个也呃也很重要这个可能是一个architecture上的一个支持嗯还有就是我觉得现在的RL训练方式肯定也会有很大的提升空间吧比如说啊当你要训练一个很复杂的multiagent的系统的时候对吧那你只是用端到端的reward它可能就是不太够但中间的reward怎么产生啊是不是能摆脱一些人工的设计我觉得也也会是很有意思的挑战。
哎我有一个就是我回看我们去年对话我有一个问题非常想问你就是你去年说开源会落后于闭源因为开源的方式跟以前不一样以前所有人都可以贡献到开源因为开源本身是中心化的开源贡献很多没有呃经过算力验证。
哎我有一个就是我回看我们去年对话我有一个问题非常想问你就是你去年说开源会落后于闭源因为开源的方式跟以前不一样以前所有人都可以贡献到开源因为开源本身是中心化的开源贡献很多没有呃经过算力验证。
那必然会有人才聚集和资本秘局，嗯呃是一个对市场整合。
那必然会有人才聚集和资本秘局，嗯呃是一个对市场整合。
所以领先者不会太远，嗯只有落后者才会这么做。
所以领先者不会太远，嗯只有落后者才会这么做。
但是你今天太远了呀，对因为我们还不是绝对，我们还没有做到非常我就是完全的领先嘛。
但是你今天太远了呀，对因为我们还不是绝对，我们还没有做到非常我就是完全的领先嘛。
呃有有一些判断上其实基本上是这样，就是说你确实你的模型出来之后，呃就是这个社区它能贡献一些东西，比如说你你在你在推理测可以可以做很多事情。
呃有有一些判断上其实基本上是这样，就是说你确实你的模型出来之后，呃就是这个社区它能贡献一些东西，比如说你你在你在推理测可以可以做很多事情。
对吧，然后你你可以让这个模型有更多人免费给你SURF，让它就是有更多人去用。
对吧，然后你你可以让这个模型有更多人免费给你SURF，让它就是有更多人去用。
然后但是确实你要贡献到模型本身的，把这个模型本身变得更好，好像还只只只能是你原厂自己来做啊。
然后但是确实你要贡献到模型本身的，把这个模型本身变得更好，好像还只只只能是你原厂自己来做啊。
当然就是说现在如果是放在这个你如果看BASE MODEL是这样，但是就是说你你如果基于这个开源模型去做很多POST TRAINING。
当然就是说现在如果是放在这个你如果看BASE MODEL是这样，但是就是说你你如果基于这个开源模型去做很多POST TRAINING。
特别是AGEN的POST TRAINING的话啊，有可能会有会产生出来一些新的机会。
特别是AGEN的POST TRAINING的话啊，有可能会有会产生出来一些新的机会。
就比如说假设你现在想非常想去做一个就是比如说法律相关的这个AGENT，然后你是一个比如说你是个创业公司想去做这个事情，那你完全可以基于K二，然后在你的定制你的这个工具集合下面，对吧？
就比如说假设你现在想非常想去做一个就是比如说法律相关的这个AGENT，然后你是一个比如说你是个创业公司想去做这个事情，那你完全可以基于K二，然后在你的定制你的这个工具集合下面，对吧？
你可以训出来一个SPECIALIZED的AGENT，然后他在你关注的场景下表现得非常好。
你可以训出来一个SPECIALIZED的AGENT，然后他在你关注的场景下表现得非常好。
我觉得存在这样的机会，对，但它更多的是可能去赋能这个就是更多的可能下游的应用，就是你你可能很难说把这些东西再变成说你的主模型这个base model的提升，这个可能还是目前还是很难，我觉得大概是这样吧，对我我觉得这个问题可能可以动态的观察，就是就是。
我觉得存在这样的机会，对，但它更多的是可能去赋能这个就是更多的可能下游的应用，就是你你可能很难说把这些东西再变成说你的主模型这个base model的提升，这个可能还是目前还是很难，我觉得大概是这样吧，对我我觉得这个问题可能可以动态的观察，就是就是。
你们会长期选择开源吗？
你们会长期选择开源吗？
我觉得这个是一个我们希望长期去做的事情，但是我们不一定是说只做开源。
我觉得这个是一个我们希望长期去做的事情，但是我们不一定是说只做开源。
我们会希望能够去跟社区去分享，你像你刚刚说的技术的NO号对吧？
我们会希望能够去跟社区去分享，你像你刚刚说的技术的NO号对吧？
然后我觉得这个是可以去加速，就是我们我们往把把把技术再往下去提升的一个很重要的一个点。
然后我觉得这个是可以去加速，就是我们我们往把把把技术再往下去提升的一个很重要的一个点。
就是大家可以不完全只是竞争，就是你也可以有一些合作，或者甚至就是说你所有开源的。
就是大家可以不完全只是竞争，就是你也可以有一些合作，或者甚至就是说你所有开源的。
公司它会形成一个生态，就是说你你能更好把这个技术往下去推进，就你这雪山可以爬得更好嘛。
公司它会形成一个生态，就是说你你能更好把这个技术往下去推进，就你这雪山可以爬得更好嘛。
然后RACE TO THE TOP也不一定所有东西都是开源对吧？
然后RACE TO THE TOP也不一定所有东西都是开源对吧？
比如说假设我们现在跟某些公司有有一些合作，就是它不一定是说你所有东西都要开出来，但是我们可能会希望能持续地去开放一些好的技术。
比如说假设我们现在跟某些公司有有一些合作，就是它不一定是说你所有东西都要开出来，但是我们可能会希望能持续地去开放一些好的技术。
所以这是一个技术体系的信仰，还是说是一个市场博弈的策略？
所以这是一个技术体系的信仰，还是说是一个市场博弈的策略？
我觉得客观的说是都有。
我觉得客观的说是都有。
就是，而且可能都有好处。
就是，而且可能都有好处。
但最终我们是希望说能通过这个东西，让这个技术可能更安全、更快地达到一个更好的水平。
但最终我们是希望说能通过这个东西，让这个技术可能更安全、更快地达到一个更好的水平。
开闭源的生态会怎么演进？
开闭源的生态会怎么演进？
你觉得最终开源和闭源全球会剩下几家？
你觉得最终开源和闭源全球会剩下几家？
我觉得不会很多吧，就是或者说整体来说，但但几家肯定还是会有的。
我觉得不会很多吧，就是或者说整体来说，但但几家肯定还是会有的。
就是我我我觉得整体来说，其实你如果去看过去两年，我觉得这个趋势还是比较明确的，就是你还是这个市场会逐渐的更。
就是我我我觉得整体来说，其实你如果去看过去两年，我觉得这个趋势还是比较明确的，就是你还是这个市场会逐渐的更。
集中跟收敛，聚焦对跟收敛啊。
集中跟收敛，聚焦对跟收敛啊。
你可能一开始有几百个，到几十个，到几个，我觉得几个可能是最终一个比较稳定的数。
你可能一开始有几百个，到几十个，到几个，我觉得几个可能是最终一个比较稳定的数。
我觉得现在看起来是一个大概率的事情。
我觉得现在看起来是一个大概率的事情。
你们属于开源那一边的，还是闭眼这一边的？
你们属于开源那一边的，还是闭眼这一边的？
像我刚刚说，我们可能会持续地去开，但是并不是所有东西一定都会完全地开。
像我刚刚说，我们可能会持续地去开，但是并不是所有东西一定都会完全地开。
我觉得选择性的是一个对吧？
我觉得选择性的是一个对吧？
这个很多可能我们要动态地去观察，对。
这个很多可能我们要动态地去观察，对。
但是我们肯定是希望能够长期去分享更多的技术。
但是我们肯定是希望能够长期去分享更多的技术。
为什么中国公司都开源了？
为什么中国公司都开源了？
嗯。
嗯。
呃，也不是都字节就没开。
呃，也不是都字节就没开。
我觉得客观地说，还是就像我刚刚讲的，就是说你你可能有市场博弈的因素，我觉得这个对社区来说是一个好事嘛。
我觉得客观地说，还是就像我刚刚讲的，就是说你你可能有市场博弈的因素，我觉得这个对社区来说是一个好事嘛。
就就是说，然后你开源的可以互相借鉴，对吧？
就就是说，然后你开源的可以互相借鉴，对吧？
那你可以去加速做到收塔，我觉得它是一个很好的方式。
那你可以去加速做到收塔，我觉得它是一个很好的方式。
去年你提到一个很多的词是有概率的非公时，你今天有概率的非公时是什么？
去年你提到一个很多的词是有概率的非公时，你今天有概率的非公时是什么？
好问题。
好问题。
我我觉得就是可能像我刚刚讲的吧，就是几个接下来比较重要的技术的点。
我我觉得就是可能像我刚刚讲的吧，就是几个接下来比较重要的技术的点。
比如说怎么去提升AGENT的泛化，我还是觉得可能是一个非常重要的问题。
比如说怎么去提升AGENT的泛化，我还是觉得可能是一个非常重要的问题。
然后这里面可能我们希望看能否在技术上有一些新的东西，然后包括高，就是包括我们去做优化器这些东西。
然后这里面可能我们希望看能否在技术上有一些新的东西，然后包括高，就是包括我们去做优化器这些东西。
我觉得在我们做出来之前，但我现在不知道是不是啊，就是至少在我们做出来之前应该没有人在做这个东西，所以它是一个。
我觉得在我们做出来之前，但我现在不知道是不是啊，就是至少在我们做出来之前应该没有人在做这个东西，所以它是一个。
他也是做成了一个非共识，对就是因为之前所有人都会使用Adam，所以我觉我觉得这个也也算是一个比较重要的，因为他对Token Efficiency提升确实很大，所以使得我们现在可以有一个比较好的Base Model。
他也是做成了一个非共识，对就是因为之前所有人都会使用Adam，所以我觉我觉得这个也也算是一个比较重要的，因为他对Token Efficiency提升确实很大，所以使得我们现在可以有一个比较好的Base Model。
那这个Base Model我们后面就可以有更多的Post Training去把它所有的上线所有的性能去压榨出来，我觉得这些其实都是。
那这个Base Model我们后面就可以有更多的Post Training去把它所有的上线所有的性能去压榨出来，我觉得这些其实都是。
你你怎么看AI时代的产品啊？
你你怎么看AI时代的产品啊？
就是你因为做Kimi做了很长时间嘛，你觉得做比如说做AI时代的产品跟做移动互联网产品会有不一样吗？
就是你因为做Kimi做了很长时间嘛，你觉得做比如说做AI时代的产品跟做移动互联网产品会有不一样吗？
我只能说说 ai 的产品啊，因为移动互联网没有做过，但是就是。
我只能说说 ai 的产品啊，因为移动互联网没有做过，但是就是。
你以前就很喜欢说模型级产品。
你以前就很喜欢说模型级产品。
对对对，我觉得这个现在还是没有变化的。
对对对，我觉得这个现在还是没有变化的。
嗯，还是没有变化，就是比如你在假设你现在做一个 agent 产品，你在做的时候，其实需要把模型跟工具和这个 context 去结合起来。
嗯，还是没有变化，就是比如你在假设你现在做一个 agent 产品，你在做的时候，其实需要把模型跟工具和这个 context 去结合起来。
然后，但是你发现，就是在训练模型的时候，你基本上已经要把这一套全部搭搭好，你才有办法训这个模型，对吧？
然后，但是你发现，就是在训练模型的时候，你基本上已经要把这一套全部搭搭好，你才有办法训这个模型，对吧？
所以当你模型训完之后，你的产品已经做完了。
所以当你模型训完之后，你的产品已经做完了。
就是就是你在上面做一些可能交互的东西我觉得也肯定也有很大的价值但是可能它是最后的这锦上添花的这一步就是你的你的模型的性能它已经在这个过程中然后打磨好了然后跟这些工具和环境已经有非常好的适配嗯所以它是它是在训练之中完成的就是你训练好了之后你的产品就基本上已经做差不多。
就是就是你在上面做一些可能交互的东西我觉得也肯定也有很大的价值但是可能它是最后的这锦上添花的这一步就是你的你的模型的性能它已经在这个过程中然后打磨好了然后跟这些工具和环境已经有非常好的适配嗯所以它是它是在训练之中完成的就是你训练好了之后你的产品就基本上已经做差不多。
因为你去年说现在的开发方式演变上来你要做一个巨大的系统就像比如说21世纪初Google做的信息检索系统。
因为你去年说现在的开发方式演变上来你要做一个巨大的系统就像比如说21世纪初Google做的信息检索系统。
啊那你今天对于AI时代这个巨大的系统你有没有什么想象有更多的想象吗就像比如说以前的搜索引擎系统和以前的推荐引擎系统但是它都是适配不同的时代的。
啊那你今天对于AI时代这个巨大的系统你有没有什么想象有更多的想象吗就像比如说以前的搜索引擎系统和以前的推荐引擎系统但是它都是适配不同的时代的。
嘛我觉得现在的系统复杂性在于你想就想让这个模型变得通用就是通用它会带来很多的复杂性OK但你一方面可以认为它是变简单了你一方也可以认为它变复杂就简单在于说你只要把所有东西都放在同一个模型里。
嘛我觉得现在的系统复杂性在于你想就想让这个模型变得通用就是通用它会带来很多的复杂性OK但你一方面可以认为它是变简单了你一方也可以认为它变复杂就简单在于说你只要把所有东西都放在同一个模型里。
就你不需要维护那么多模型，你不需要搞一堆的这个routing的策略对吧？
就你不需要维护那么多模型，你不需要搞一堆的这个routing的策略对吧？
就是它从概念上来讲，或者说有一些工程实现上来讲，它是变简单的。
就是它从概念上来讲，或者说有一些工程实现上来讲，它是变简单的。
但是另外一方面就是它也会变得复杂，就是你发现你如果希望它很通用，那你就希望说这个模型在各种场景下它都可以工作。
但是另外一方面就是它也会变得复杂，就是你发现你如果希望它很通用，那你就希望说这个模型在各种场景下它都可以工作。
比如说你做AGENT的模型，你不、你不希望它只在你的工具集下能工作。
比如说你做AGENT的模型，你不、你不希望它只在你的工具集下能工作。
嗯，你希望说别人用你这个模型，它在别的工具集，甚至你没有见过的工具，或者说工具不同的定义、不同的实现方式，它都能工作。
嗯，你希望说别人用你这个模型，它在别的工具集，甚至你没有见过的工具，或者说工具不同的定义、不同的实现方式，它都能工作。
这个其实就是呃要求是很高的。
这个其实就是呃要求是很高的。
然后你可能比如AGENT里面，它现在就现在可能会有几种不同类型的任务，你不管是CODING的AGENT、SEARCH AGENT，还是可能一些其他的。
然后你可能比如AGENT里面，它现在就现在可能会有几种不同类型的任务，你不管是CODING的AGENT、SEARCH AGENT，还是可能一些其他的。
AGENT就是你要把它呃放在同一个通用模型里面，那它就可能会有这个会有一些打架的问题，对吧？
AGENT就是你要把它呃放在同一个通用模型里面，那它就可能会有这个会有一些打架的问题，对吧？
就是你可能有也许你的工具定义不一样，或者你的数据的PATTERN不一样。
就是你可能有也许你的工具定义不一样，或者你的数据的PATTERN不一样。
就是你把它做成一个通用模型的过程，它其实是有很多的技术挑战。
就是你把它做成一个通用模型的过程，它其实是有很多的技术挑战。
对，但是如果你不做成通用的模型呢？
对，但是如果你不做成通用的模型呢？
嗯，你它的它的泛化性又没有那么好。
嗯，你它的它的泛化性又没有那么好。
就是你你你只能做一件事情，对，而而且特别是现在，就是因为你AGENT它是需要很多步的完成任务嘛。
就是你你你只能做一件事情，对，而而且特别是现在，就是因为你AGENT它是需要很多步的完成任务嘛。
嗯，啊，即便程序员他也不仅只是写代码，对吧？
嗯，啊，即便程序员他也不仅只是写代码，对吧？
然后或者说写代码里面它也不仅只是做SWITCH，所以你发现就是你要做很通用的呃呃东西，或者说真正可用的东西，随着你的步数变多，它对通用性的要求是会更高。
然后或者说写代码里面它也不仅只是做SWITCH，所以你发现就是你要做很通用的呃呃东西，或者说真正可用的东西，随着你的步数变多，它对通用性的要求是会更高。
我是觉得它的系统复杂性。
我是觉得它的系统复杂性。
嗯主要是体现在说你的你在训练这个模型的过程中需要让它的让它是足够通用的而不是说去拟合到某一些单点的能力上嗯就你拟合到单点能力上你可能会你可能会BENCHMARK分数看起来很好但是你实际上就是你的通用性可能是不够对就是我我觉得这个是现在这个系统我我自己能观察到比较大挑战我还有包括有个例子就是说比如你想往这个模型里面加多模态的能力。
嗯主要是体现在说你的你在训练这个模型的过程中需要让它的让它是足够通用的而不是说去拟合到某一些单点的能力上嗯就你拟合到单点能力上你可能会你可能会BENCHMARK分数看起来很好但是你实际上就是你的通用性可能是不够对就是我我觉得这个是现在这个系统我我自己能观察到比较大挑战我还有包括有个例子就是说比如你想往这个模型里面加多模态的能力。
对啊，那你就需要让这个多模态能力不要去损伤他的脑子，对吧？
对啊，那你就需要让这个多模态能力不要去损伤他的脑子，对吧？
而且你希望就是在多模态的模式下跟你。
而且你希望就是在多模态的模式下跟你。
在只是能够不损伤，是吗？
在只是能够不损伤，是吗？
对对，就是你能不损伤已经很好了。
对对，就是你能不损伤已经很好了。
你希望在他有多模态的模式下跟你这个呃文本模式下，你希望他他能共用一个脑子，对吧？
你希望在他有多模态的模式下跟你这个呃文本模式下，你希望他他能共用一个脑子，对吧？
就是他他能在多模态的模式下也能把他文本的那个智商给激发出来，而不是他就进入另外另外一部分的参数。
就是他他能在多模态的模式下也能把他文本的那个智商给激发出来，而不是他就进入另外另外一部分的参数。
那它可能就是完全丢掉了原来它文本里面学习的部分。
那它可能就是完全丢掉了原来它文本里面学习的部分。
所以就是你做一个通用的模型，它就会面临这样的挑战。
所以就是你做一个通用的模型，它就会面临这样的挑战。
就是当你有各种模态、各种任务类型、各种还有AGENT REASONING CHAT这些东西，它要全部合到一起啊。
就是当你有各种模态、各种任务类型、各种还有AGENT REASONING CHAT这些东西，它要全部合到一起啊。
我觉得是存在这样的一个挑战。
我觉得是存在这样的一个挑战。
然后而且你现在不光是SFT，你要做IL，IL的时候它你就可能这个挑战就会进一步的加重。
然后而且你现在不光是SFT，你要做IL，IL的时候它你就可能这个挑战就会进一步的加重。
就是这个是相比于就是说你只做。
就是这个是相比于就是说你只做。
就是通用的pretending是相对比较好做的，就是你只要把所有的文本呃就是放放在一起，它基本上不会有太多的问题。
就是通用的pretending是相对比较好做的，就是你只要把所有的文本呃就是放放在一起，它基本上不会有太多的问题。
但是你越到post券后期越到io它的这个问题会更加严重，我觉得这是它的系统复杂性。
但是你越到post券后期越到io它的这个问题会更加严重，我觉得这是它的系统复杂性。
你看搜索引擎系统其实是构建在PC互联网之上的，然后推荐引擎系统是构建在手机上就是移动互联网上，你觉得新的节点在哪里啊？
你看搜索引擎系统其实是构建在PC互联网之上的，然后推荐引擎系统是构建在手机上就是移动互联网上，你觉得新的节点在哪里啊？
这个时代AI时代这个超级节点在哪里？
这个时代AI时代这个超级节点在哪里？
就对他肯定会跑在很多数据中心里，所所谓的JASON经常说的这个AI FACTORY。
就对他肯定会跑在很多数据中心里，所所谓的JASON经常说的这个AI FACTORY。
但肯定还会有很多终端嘛，就是我觉得终端可能还是有一些可以复用，现在的有一些可能会有新的。
但肯定还会有很多终端嘛，就是我觉得终端可能还是有一些可以复用，现在的有一些可能会有新的。
可能会诞生新的交互方式。
可能会诞生新的交互方式。
肯定会CHAT是一种，就是你如果两年前看它，CHAT是一种新的交互方式，因为之前可能没有说人跟机器这种对话，但现在可能AGENT它其实也有很多新的交互方式。
肯定会CHAT是一种，就是你如果两年前看它，CHAT是一种新的交互方式，因为之前可能没有说人跟机器这种对话，但现在可能AGENT它其实也有很多新的交互方式。
嗯，对啊。
嗯，对啊。
就比如你让他异步执行一个任务，然后你又可以看这些中间的结果啊。
就比如你让他异步执行一个任务，然后你又可以看这些中间的结果啊。
它其实也是一种交互方式，但你呃……那可能接下来还会有更多，就比如说当你有一个multi agent system，那那它的交互方式会怎么样？
它其实也是一种交互方式，但你呃……那可能接下来还会有更多，就比如说当你有一个multi agent system，那那它的交互方式会怎么样？
就可能你会随着能力的边界去变化对。
就可能你会随着能力的边界去变化对。
然后比如说你看coding这个东西，coding一开始你有你有这个copilot，然后有copilot之后有cursor，cursor之后有有。
然后比如说你看coding这个东西，coding一开始你有你有这个copilot，然后有copilot之后有cursor，cursor之后有有。
有clock code，对你你其实每一代交互都会发生变化。
有clock code，对你你其实每一代交互都会发生变化。
然后你发现这个交互它其实是随着模型的变化而变化，对？
然后你发现这个交互它其实是随着模型的变化而变化，对？
基本上就当你有新的一代模型，然后它能力提升了很多，你就发现你的交互可以改了，就你不再需要说我单个的人去点我要不要accept一个一个修改，而是说我可以去。
基本上就当你有新的一代模型，然后它能力提升了很多，你就发现你的交互可以改了，就你不再需要说我单个的人去点我要不要accept一个一个修改，而是说我可以去。
多步的去执行一个 agent coding 的任务，所以你的交互发生变化。
多步的去执行一个 agent coding 的任务，所以你的交互发生变化。
然后当然今天可能 Claude Code 的交互，它也它也不是终极形态，就是因为你的模型还会提升。
然后当然今天可能 Claude Code 的交互，它也它也不是终极形态，就是因为你的模型还会提升。
提升之后，它的交互就会持续变化，我觉得是一个这样的过程。
提升之后，它的交互就会持续变化，我觉得是一个这样的过程。
今天 skin law 你觉得还没有放缓。
今天 skin law 你觉得还没有放缓。
skin law 对，skin law 就是有数据强了，我觉得这个肯定是一个客观的事实。
skin law 对，skin law 就是有数据强了，我觉得这个肯定是一个客观的事实。
然后就是说，那你突破这个数据强，你就是要提提高 token efficiency 就像我刚刚说的，就是为，为什么我们会会去做提高 token efficiency 提高 token efficiency 的事情，就是因为。
然后就是说，那你突破这个数据强，你就是要提提高 token efficiency 就像我刚刚说的，就是为，为什么我们会会去做提高 token efficiency 提高 token efficiency 的事情，就是因为。
呃你肯定数据强是存在的，对然后呢你同时你要scale更多的compute到这个RL上各种各样的RL的任务上，但三号我们现在观察就是其实模型变好的速度并没有在减少，我觉得甚至是在加速。
呃你肯定数据强是存在的，对然后呢你同时你要scale更多的compute到这个RL上各种各样的RL的任务上，但三号我们现在观察就是其实模型变好的速度并没有在减少，我觉得甚至是在加速。
为什么AI产品都还没有形成数据飞轮？
为什么AI产品都还没有形成数据飞轮？
就是因为基于算力的 scaling 太强大了。
就是因为基于算力的 scaling 太强大了。
基于算力的 scaling 太强大了，就是我觉得这是一方面，就是说你比如说你先 scale pretraining，然后你又 scale il，il 的 scaling 它的效率又比 pretraining 要高很多。
基于算力的 scaling 太强大了，就是我觉得这是一方面，就是说你比如说你先 scale pretraining，然后你又 scale il，il 的 scaling 它的效率又比 pretraining 要高很多。
因为它是 on policy 带浮梯度的训练，所以它的它的 scaling 的效果其实是效率是更高的。
因为它是 on policy 带浮梯度的训练，所以它的它的 scaling 的效果其实是效率是更高的。
所以当你有很高的SKATING效率的时候，就是你发现你你直接SCALE这个COMPUTE SCALE这个FLOPS它带来的提升是非常非常大。
所以当你有很高的SKATING效率的时候，就是你发现你你直接SCALE这个COMPUTE SCALE这个FLOPS它带来的提升是非常非常大。
所以你会显得其他带来的提升很小。
所以你会显得其他带来的提升很小。
这个是一方面，另一方面就是说所谓的数据飞轮它是很依赖于这个外界环境的FEEDBACK，然后这个FEEDBACK它我我们不希望它有太多的噪声，但现在可能三号就是还没有完全。
这个是一方面，另一方面就是说所谓的数据飞轮它是很依赖于这个外界环境的FEEDBACK，然后这个FEEDBACK它我我们不希望它有太多的噪声，但现在可能三号就是还没有完全。
说这个问题做得非常好，就是因为你你噪声就大模型的学习。
说这个问题做得非常好，就是因为你你噪声就大模型的学习。
它对噪声是比较敏感，它跟可能传统的这个比如说推荐系统有点、有点不太一样，它是噪声很敏感的。
它对噪声是比较敏感，它跟可能传统的这个比如说推荐系统有点、有点不太一样，它是噪声很敏感的。
现在看起来还是就是说基于这个FLOPS的SCALING是更有效的。
现在看起来还是就是说基于这个FLOPS的SCALING是更有效的。
当然说这个平衡什么时候会产生变化，那也有可能就是说你你你走通过新的交互去。
当然说这个平衡什么时候会产生变化，那也有可能就是说你你你走通过新的交互去。
呃让你收集到的信号的噪声能够去减少，对对但是。
呃让你收集到的信号的噪声能够去减少，对对但是。
需要就是创造一种新交互。
需要就是创造一种新交互。
对对对但是你这个交互要适配模型能力的发展，就你的交互不能超越模型能力，你应该在大学模型能力的这个范围内去去设计一个好的交互啊。
对对对但是你这个交互要适配模型能力的发展，就你的交互不能超越模型能力，你应该在大学模型能力的这个范围内去去设计一个好的交互啊。
但是我我觉得这个是值得尝试的，只是说今天可能我看来会觉得说嗯。
但是我我觉得这个是值得尝试的，只是说今天可能我看来会觉得说嗯。
可能你去SCALE那个FLOPS那个维度，或者说提升它的学习效率，它还是更确定性更高，而且看起来更有效的一个方法。
可能你去SCALE那个FLOPS那个维度，或者说提升它的学习效率，它还是更确定性更高，而且看起来更有效的一个方法。
嗯，那如果说像比如说严晶姐说用户数据无法提供模型的智能，那好像今天就没有必要做TO C产品了，我们就一门心思提升智能就好了。
嗯，那如果说像比如说严晶姐说用户数据无法提供模型的智能，那好像今天就没有必要做TO C产品了，我们就一门心思提升智能就好了。
这个东西要看怎么看，就是你可能还是要有一定量，就是你你得大概知道说这个我觉得是这样，就是说你可能没有办法直接去使用。
这个东西要看怎么看，就是你可能还是要有一定量，就是你你得大概知道说这个我觉得是这样，就是说你可能没有办法直接去使用。
呃一些比如说用户的反馈直接拿去训练嗯对吧但是你有一定的用户量的好处是在于说你知道整体的这个比如说需求的分布是什么样你你大概知道就是说有哪些可能是用户用的好哪些用的不好然后你再把这个东西抽象成可能一些比如说EVALUATION然后去优化这个模型如果你这个模型完全没有人用那那你你可能都不知道往哪里去优化另外就是说也要看你这个用户的商业价值对就是因为我觉得现在其实又到了一个新的分水岭就是说你你的用户其实是有可能。
呃一些比如说用户的反馈直接拿去训练嗯对吧但是你有一定的用户量的好处是在于说你知道整体的这个比如说需求的分布是什么样你你大概知道就是说有哪些可能是用户用的好哪些用的不好然后你再把这个东西抽象成可能一些比如说EVALUATION然后去优化这个模型如果你这个模型完全没有人用那那你你可能都不知道往哪里去优化另外就是说也要看你这个用户的商业价值对就是因为我觉得现在其实又到了一个新的分水岭就是说你你的用户其实是有可能。
嗯，能产生商业价值。
嗯，能产生商业价值。
比如说你就看OPPO AI，它C端用户其实产生的商业价值是很大的，可能占了它的这个营收的比较大的比例。
比如说你就看OPPO AI，它C端用户其实产生的商业价值是很大的，可能占了它的这个营收的比较大的比例。
对，然后呃，特别是现在你可能有很多AGENT的产品，它能端到端的产生很多价值，对吧？
对，然后呃，特别是现在你可能有很多AGENT的产品，它能端到端的产生很多价值，对吧？
所以你用户可能现在，所以也要看你是什么用户，对吧？
所以你用户可能现在，所以也要看你是什么用户，对吧？
就是如果普通的去闲聊问一下天气，它可能不一定说有那么大商业价值，但如果你是很多AGENT的。
就是如果普通的去闲聊问一下天气，它可能不一定说有那么大商业价值，但如果你是很多AGENT的。
这个专业的用户那他可能是已经本身就是一个很好的生产力的价值可能这个事情他就不完全一样。
这个专业的用户那他可能是已经本身就是一个很好的生产力的价值可能这个事情他就不完全一样。
了你的产品有什么新的想法没有。
了你的产品有什么新的想法没有。
我我觉得更多还是想模型怎么做因为我觉得像我刚刚讲的就是模型训好了这个产品他就已经基本上做的差不多了。
我我觉得更多还是想模型怎么做因为我觉得像我刚刚讲的就是模型训好了这个产品他就已经基本上做的差不多了。
模型及产品。
模型及产品。
对我觉得他今天还是成立今天还是成立就是我们还是会沿着这个方式一直在做。
对我觉得他今天还是成立今天还是成立就是我们还是会沿着这个方式一直在做。
有人会说拼命是要从要做当然你不认可你们是中国要做中国的OPENI以前啊但是有他们会这么看嘛你们是要从做要做中国的OPENI是不是要变成想做中国的ANTHROPIC是有这样的一个转换吗。
有人会说拼命是要从要做当然你不认可你们是中国要做中国的OPENI以前啊但是有他们会这么看嘛你们是要从做要做中国的OPENI是不是要变成想做中国的ANTHROPIC是有这样的一个转换吗。
我觉得很难这样定义吧，就是因为中美它不太一样。
我觉得很难这样定义吧，就是因为中美它不太一样。
而且今天我我们更多的还是得站在全球的视角去思考这个问题。
而且今天我我们更多的还是得站在全球的视角去思考这个问题。
我觉得做中国的什么什么可能本身它不一定非常成立。
我觉得做中国的什么什么可能本身它不一定非常成立。
我觉得还是其实简单一点，就是说我我我们希望还是还是继续爬山呢，就是对我我觉得就是爬山做时间的朋友，然后跟 COMMUNITY一起说去加速这个技术的推进，我觉得这是我们想做的事情。
我觉得还是其实简单一点，就是说我我我们希望还是还是继续爬山呢，就是对我我觉得就是爬山做时间的朋友，然后跟 COMMUNITY一起说去加速这个技术的推进，我觉得这是我们想做的事情。
嗯那我们聊聊商业模式啊你怎么思考的？
嗯那我们聊聊商业模式啊你怎么思考的？
api是好生意吗？
api是好生意吗？
我我觉得现在就是明确的商业模式一一个对一个api一个是说可能一方一方产品嘛觉得这两个可能我们也都会去做一些尝试当然我觉得今天可能最主要优先级还是继续把模型做的更好我我我觉得这个还是。
我我觉得现在就是明确的商业模式一一个对一个api一个是说可能一方一方产品嘛觉得这两个可能我们也都会去做一些尝试当然我觉得今天可能最主要优先级还是继续把模型做的更好我我我觉得这个还是。
可能首要目标吧，但是你在把这个模型做更好的过程中，对比如说你在某些方面领先了，那那它其实确实是有这个会有这个商业化的空间。
可能首要目标吧，但是你在把这个模型做更好的过程中，对比如说你在某些方面领先了，那那它其实确实是有这个会有这个商业化的空间。
因为我觉得今天整体的市场规模其实涨得也很快嘛，啊就是就是可能头部的公司有几十亿、上百亿美元的这个AR，而且是在快速增长，对吧？
因为我觉得今天整体的市场规模其实涨得也很快嘛，啊就是就是可能头部的公司有几十亿、上百亿美元的这个AR，而且是在快速增长，对吧？
可能每每个。
可能每每个。
每一两个季度就能翻个两三倍这样的情况我觉得这个肯定我们是会动态去观察然后可能做一些尝试吧对但但是可能最主要还是说得比如说你你如果模型真的能做到比如OPPO的水平然后会会甚甚至做得更好那那这个空间可能更大所以我们会花更多时间去把效果做得更好。
每一两个季度就能翻个两三倍这样的情况我觉得这个肯定我们是会动态去观察然后可能做一些尝试吧对但但是可能最主要还是说得比如说你你如果模型真的能做到比如OPPO的水平然后会会甚甚至做得更好那那这个空间可能更大所以我们会花更多时间去把效果做得更好。
因为你们的用户说他们很喜欢Kimi但是很担心Kimi不赚不到钱嗯怎么办你们能挣到钱吗。
因为你们的用户说他们很喜欢Kimi但是很担心Kimi不赚不到钱嗯怎么办你们能挣到钱吗。
对就是你还是先投资嘛然后我觉得能不能赚到钱取决于你就是你的你的模型效果做的怎么样我我现在觉得就因为我觉得市场它是一个。
对就是你还是先投资嘛然后我觉得能不能赚到钱取决于你就是你的你的模型效果做的怎么样我我现在觉得就因为我觉得市场它是一个。
呃，其实已经一定程度上被验证的市场，然后也也在快速增长。
呃，其实已经一定程度上被验证的市场，然后也也在快速增长。
像我刚刚说的，所以我觉得还是专注把技术做得更好，然后剩下东西我我觉得其实可能确定性反而是更高的。
像我刚刚说的，所以我觉得还是专注把技术做得更好，然后剩下东西我我觉得其实可能确定性反而是更高的。
这样火了，你心情有什么变化吗？
这样火了，你心情有什么变化吗？
也也没有，就是就是还好。
也也没有，就是就是还好。
就是说我觉得还这个还是一个漫长的旅程嘛，就是你是反正要持续做下一代的模型，反正还是回到刚刚那个刻在石头上两句话，就是说你会产生新的问题，然后你就去解决它。
就是说我觉得还这个还是一个漫长的旅程嘛，就是你是反正要持续做下一代的模型，反正还是回到刚刚那个刻在石头上两句话，就是说你会产生新的问题，然后你就去解决它。
然后这个是这个是可能是最有意思的部分。
然后这个是这个是可能是最有意思的部分。
这个旅程这个创业旅程有什么意料之外的完全意料之外的？
这个旅程这个创业旅程有什么意料之外的完全意料之外的？
我觉得还好就是说基本上所有的困难什么这些我们也有预料到，只是说具体是什么困难的。
我觉得还好就是说基本上所有的困难什么这些我们也有预料到，只是说具体是什么困难的。
我我觉得最有意思的点是你永远不知道会产生什么新的技术问题，然后这些新的技术问题会怎么样被解决。
我我觉得最有意思的点是你永远不知道会产生什么新的技术问题，然后这些新的技术问题会怎么样被解决。
嗯我觉得这个是最有意思的部分，就是这个是你基本上很难预测的。
嗯我觉得这个是最有意思的部分，就是这个是你基本上很难预测的。
如果能预测它就不是那么创新。
如果能预测它就不是那么创新。
嗯对啊，但我觉得这个是最有意思的，就是就是你会永远遇到新的问题。
嗯对啊，但我觉得这个是最有意思的，就是就是你会永远遇到新的问题。
你现在生活是什么样子的生活节奏？
你现在生活是什么样子的生活节奏？
现在就是可能睡得比较晚了，然后几点啊？
现在就是可能睡得比较晚了，然后几点啊？
不太一样，对就是可能每天不一样，但是反正。
不太一样，对就是可能每天不一样，但是反正。
然后但也还好，就是花很多时间去看怎么把模型训练更好。
然后但也还好，就是花很多时间去看怎么把模型训练更好。
所以你的时间主要投入在模型训练上。
所以你的时间主要投入在模型训练上。
呃我觉得是吧，对就是但模型训练是个很抽象的概念，就是说我觉得。
呃我觉得是吧，对就是但模型训练是个很抽象的概念，就是说我觉得。
我觉得里面很重要的一个是就是你的技术一些技术的战略就是我我觉得这个是可能公司战略里面最重要的一部分就是你的技术战略就是你现在下一步到底是哪些要做哪些不要做因为这个技术空间很大嘛嗯那你总是要选一些东西去重点去做去年选择的是什么比如说我觉得我们在很多东西上的bet还是有效而且比较早的比如说像去做long COT的啊我们是反应比较快然后去做民用优化器。
我觉得里面很重要的一个是就是你的技术一些技术的战略就是我我觉得这个是可能公司战略里面最重要的一部分就是你的技术战略就是你现在下一步到底是哪些要做哪些不要做因为这个技术空间很大嘛嗯那你总是要选一些东西去重点去做去年选择的是什么比如说我觉得我们在很多东西上的bet还是有效而且比较早的比如说像去做long COT的啊我们是反应比较快然后去做民用优化器。
然后去做更大规模的去 training，然后去，比如去做这个，做一个可能第一个 open 的 agentic 的模型。
然后去做更大规模的去 training，然后去，比如去做这个，做一个可能第一个 open 的 agentic 的模型。
嗯，我觉得这些可能都是一些技术的 bet，然后或者技技术的决策。
嗯，我觉得这些可能都是一些技术的 bet，然后或者技技术的决策。
我觉得这个东西基本上会至少决定五六成的公司的走向。
我觉得这个东西基本上会至少决定五六成的公司的走向。
但你要做很好的决策，是，还是需要很多证据支撑嘛，就是我们还得做很多实验，所以你得了解很多具体的实验的结果。
但你要做很好的决策，是，还是需要很多证据支撑嘛，就是我们还得做很多实验，所以你得了解很多具体的实验的结果。
就是到底这个东西是什么样，那个怎么样，跟接下来可能会怎么样发展，这个东西它你不能拍脑袋，就是还是得得。
就是到底这个东西是什么样，那个怎么样，跟接下来可能会怎么样发展，这个东西它你不能拍脑袋，就是还是得得。
知道更多的信息，就我觉得这也是花很多时间。
知道更多的信息，就我觉得这也是花很多时间。
然后第二个就是说可能具体的技术上嗯。
然后第二个就是说可能具体的技术上嗯。
那这些角色你你们最纠结的是哪个？
那这些角色你你们最纠结的是哪个？
花时间最长思考。
花时间最长思考。
我觉得最重要就是说你接下来要做什么不做什么。
我觉得最重要就是说你接下来要做什么不做什么。
嗯对就是刚才说的那些决策里面其中哪一个是花时间最长时间思考了。
嗯对就是刚才说的那些决策里面其中哪一个是花时间最长时间思考了。
也还好就因为我觉得这个东西它关键是一个收集数据的过程。
也还好就因为我觉得这个东西它关键是一个收集数据的过程。
嗯就是你做实验然后看这个实验是不是扎实。
嗯就是你做实验然后看这个实验是不是扎实。
嗯然后通过这个东西结合结合就是你的这个一定的技术理解然后去判断就是很多时候其实你只要数据足够充分它的这个判断也是比较显然的。
嗯然后通过这个东西结合结合就是你的这个一定的技术理解然后去判断就是很多时候其实你只要数据足够充分它的这个判断也是比较显然的。
嗯接下来呢。
嗯接下来呢。
嗯，接下来有接下来我们也在也在想，也在也在做一些实验。
嗯，接下来有接下来我们也在也在想，也在也在做一些实验。
还是有很多东西可以做的，对？
还是有很多东西可以做的，对？
就是我觉得至少说现在K2的它的性能潜力其实还没有被完全压榨出来，因为我们之前放的我觉得更接近是一个更接近是一个BASE MODEL这样的东西吧。
就是我觉得至少说现在K2的它的性能潜力其实还没有被完全压榨出来，因为我们之前放的我觉得更接近是一个更接近是一个BASE MODEL这样的东西吧。
嗯，我觉得这样接下来我们可以加更多的POST TRAINING的FLOPS，就是我觉得它的上限应该会比现在还会高很多。
嗯，我觉得这样接下来我们可以加更多的POST TRAINING的FLOPS，就是我觉得它的上限应该会比现在还会高很多。
然后肯定就是我们还会去做下一代的模型，下一代的模型就是我觉得应该可以有再更多的提升嘛，就是base model对。
然后肯定就是我们还会去做下一代的模型，下一代的模型就是我觉得应该可以有再更多的提升嘛，就是base model对。
然后嗯但这些具体怎么做我们我们我们现在就是也也会就是通过一些实验来决策也会加多模态吧，对多模态肯定是我比较确定。
然后嗯但这些具体怎么做我们我们我们现在就是也也会就是通过一些实验来决策也会加多模态吧，对多模态肯定是我比较确定。
你刚才一直说多模态其实只要不干扰智能就已经很好了是吗？
你刚才一直说多模态其实只要不干扰智能就已经很好了是吗？
对对它本身多模态但你多模态能力也要做好多模态的能力本身要做好也不容易嘛。
对对它本身多模态但你多模态能力也要做好多模态的能力本身要做好也不容易嘛。
嗯，对，就是里面有很多的工作。
嗯，对，就是里面有很多的工作。
然后你怎么让他能够去借鉴这个文本的脑子，而不是自己单开一个脑子？
然后你怎么让他能够去借鉴这个文本的脑子，而不是自己单开一个脑子？
就是比如说你MOE里面，你EXPERTS假设你有20个EXPERT，他专门在做多模态，你可能不希望这种情况出现。
就是比如说你MOE里面，你EXPERTS假设你有20个EXPERT，他专门在做多模态，你可能不希望这种情况出现。
这样的话，你可能你你可能学出来多模态是个傻傻的多模态，对，就我们希望他是个聪明的多模态。
这样的话，你可能你你可能学出来多模态是个傻傻的多模态，对，就我们希望他是个聪明的多模态。
嗯。
嗯。
下面有什么重要的里程碑啊？
下面有什么重要的里程碑啊？
这在技术上里程碑。
这在技术上里程碑。
泛化性 maybe 是一个。
泛化性 maybe 是一个。
对对，我我觉得是就是可能我觉得 agent 泛化性是是可能是最重要的吧，最重要就是我觉得今天是一个没有完全被解决的问题。
对对，我我觉得是就是可能我觉得 agent 泛化性是是可能是最重要的吧，最重要就是我觉得今天是一个没有完全被解决的问题。
你们解决了一部分了没？
你们解决了一部分了没？
解决了一些对对但。
解决了一些对对但。
什么弄好弄好我们写在 paper 里了。
什么弄好弄好我们写在 paper 里了。
ok 我们是是对对对就是你你可以你可以去尽可能构造更多的。
ok 我们是是对对对就是你你可以你可以去尽可能构造更多的。
多样的数据，那我我觉得那也不只是这个吧。
多样的数据，那我我觉得那也不只是这个吧。
就是你们数据上的篇幅很大。
就是你们数据上的篇幅很大。
就我觉得还是尽量可能避免说你通过强化学习的方式，但是你就只拟合到了几个任务上。
就我觉得还是尽量可能避免说你通过强化学习的方式，但是你就只拟合到了几个任务上。
因为就是还像我说的，就是呃，因为BENCHMARK现在比较局限，所以你优化BENCHMARK它就会导致说你的你的IO任务就会就会可能坍缩到几个单点上，但这个其实是我们不希望就你翻。
因为就是还像我说的，就是呃，因为BENCHMARK现在比较局限，所以你优化BENCHMARK它就会导致说你的你的IO任务就会就会可能坍缩到几个单点上，但这个其实是我们不希望就你翻。
在你没有观测的东西上，它可能就掉得非常多。
在你没有观测的东西上，它可能就掉得非常多。
这个我们现在也在可能希望想更多的办法去解决。
这个我们现在也在可能希望想更多的办法去解决。
我我我觉得这个会很重要吧？
我我我觉得这个会很重要吧？
然后像刚刚说的这个LONG CONTEXT的支持，我觉得肯定我们也会继续看怎么做。
然后像刚刚说的这个LONG CONTEXT的支持，我觉得肯定我们也会继续看怎么做。
就是在在他智商很高的情况下，还能有更强的CONTEXT，我觉得这个会是一个。
就是在在他智商很高的情况下，还能有更强的CONTEXT，我觉得这个会是一个。
也很重要的问题就现在很很多long contest的架构它还是会影响你的智商但我们不希望它影响智商就是就是希望什么long contest架构会影响智商比如说如果说linear attention你纯粹的linear attention你可能它就是会影响智商因为这个架构会有一些bias这个bias可能在一些场景下效果没有那么好但这个是一定程度上也可以被解决的问题。
也很重要的问题就现在很很多long contest的架构它还是会影响你的智商但我们不希望它影响智商就是就是希望什么long contest架构会影响智商比如说如果说linear attention你纯粹的linear attention你可能它就是会影响智商因为这个架构会有一些bias这个bias可能在一些场景下效果没有那么好但这个是一定程度上也可以被解决的问题。
模型公司和做agent产品的公司长期来看他们的关系和边界是在。
模型公司和做agent产品的公司长期来看他们的关系和边界是在。
哪里这个问题我我也没有明确的答案就只能说呃今天看起来就是一方的产品有个好处就是它可以做垂直的整合因为我可以把模型放在这里面训练所以我的模型跟工具它是融为一体它不是说分开来做然后再去逆向工程但是因为有非常多的agent的空间就是我感觉一方产品不一定做得过来。
哪里这个问题我我也没有明确的答案就只能说呃今天看起来就是一方的产品有个好处就是它可以做垂直的整合因为我可以把模型放在这里面训练所以我的模型跟工具它是融为一体它不是说分开来做然后再去逆向工程但是因为有非常多的agent的空间就是我感觉一方产品不一定做得过来。
对吧，就是。
对吧，就是。
所以有可能是，如果能找到一些空间，比如说你这个工具的实现，它是需要非常多的领域的 KNOW HOW，或者说你的 EVALUATION 是是可能一方产品根本不会考虑的东西，考虑不过来的东西。
所以有可能是，如果能找到一些空间，比如说你这个工具的实现，它是需要非常多的领域的 KNOW HOW，或者说你的 EVALUATION 是是可能一方产品根本不会考虑的东西，考虑不过来的东西。
那我觉得是有机会，我觉得有像 K TWO 这样的开源的模型，然后你就说大家可以在上面去微调嘛，让你更容易产生出来，就是也也有一些可能这种 SPECIALIZE AGENT、垂直 AGENT 的可能性。
那我觉得是有机会，我觉得有像 K TWO 这样的开源的模型，然后你就说大家可以在上面去微调嘛，让你更容易产生出来，就是也也有一些可能这种 SPECIALIZE AGENT、垂直 AGENT 的可能性。
我我觉得这个可能性还是。
我我觉得这个可能性还是。
还还是一一定程度上可能会存在了。
还还是一一定程度上可能会存在了。
那要看你通用模型能通用到多大程度了。
那要看你通用模型能通用到多大程度了。
对但对你不管多通用就是说你总还是有一些工具你要做嘛所以你有可能你也不一定是要去做那个模型而是说你把这个工具做得非常好然后但这个工具你如果是做得太通用你可能就会就是跟一方的这个产品会overlap高级会比较大嗯。
对但对你不管多通用就是说你总还是有一些工具你要做嘛所以你有可能你也不一定是要去做那个模型而是说你把这个工具做得非常好然后但这个工具你如果是做得太通用你可能就会就是跟一方的这个产品会overlap高级会比较大嗯。
对，那这个就是可能你还是做垂直整合优势更大。
对，那这个就是可能你还是做垂直整合优势更大。
但是如果你这个工具是一个我，我就是专门针对一个东西去做，然后甚至我这个工具是别人做不了的。
但是如果你这个工具是一个我，我就是专门针对一个东西去做，然后甚至我这个工具是别人做不了的。
比如说我，我今天如果掌握了一些线下服务的入口，那我这个工具就是我这个下订单或者成交这个工具是别人根本做不出来的啊。
比如说我，我今天如果掌握了一些线下服务的入口，那我这个工具就是我这个下订单或者成交这个工具是别人根本做不出来的啊。
那那你也有可能是。
那那你也有可能是。
能产生一些独特的价值。
能产生一些独特的价值。
当然，我觉得也存在另外一种可能性，就是说当你这个一方产品，或者说你这个通用的AGENT，它的流量或者商业模式足够成熟之后，那你很多这种专有的、本来垄断的工具，它也会愿意去接入进来，因为它的整体的商业化效率会更高。
当然，我觉得也存在另外一种可能性，就是说当你这个一方产品，或者说你这个通用的AGENT，它的流量或者商业模式足够成熟之后，那你很多这种专有的、本来垄断的工具，它也会愿意去接入进来，因为它的整体的商业化效率会更高。
对，但商业化效率的提升，我觉得是需要一些时间的。
对，但商业化效率的提升，我觉得是需要一些时间的。
对，所以那在这个时间窗口内，你可能其实专有的AGENT也会有空间。
对，所以那在这个时间窗口内，你可能其实专有的AGENT也会有空间。
对，对，就是但我觉得最终就是通用的通用，就是它为什么通用能工作，是因为它整体的商业化效率会更高。
对，对，就是但我觉得最终就是通用的通用，就是它为什么通用能工作，是因为它整体的商业化效率会更高。
所以今天甚至包括我觉得很多内容平台，你最终有可能你把内容接到这个通用AGENT里面，你的。
所以今天甚至包括我觉得很多内容平台，你最终有可能你把内容接到这个通用AGENT里面，你的。
你的你的商业化效率是会比今天更高这个是有可能但他可能要花很长时间。
你的你的商业化效率是会比今天更高这个是有可能但他可能要花很长时间。
像minus这种公司会是你的客户还是你们竞争对手在生态上。
像minus这种公司会是你的客户还是你们竞争对手在生态上。
来说就是我觉得还很早期就是你很难判断他到底有怎么样而且就是可能这个产品本身也会演进对所以我觉得短期内他可能更多的会是这种合作的关系是是可能是大于竞争的。
来说就是我觉得还很早期就是你很难判断他到底有怎么样而且就是可能这个产品本身也会演进对所以我觉得短期内他可能更多的会是这种合作的关系是是可能是大于竞争的。
但是未来它确实会演进，所以像比如说就有点像CLOUD和CURSOR的关系。
但是未来它确实会演进，所以像比如说就有点像CLOUD和CURSOR的关系。
那CURSOR它可能也要动态的变化，它可能也得在产品策略上有一些动态的调整。
那CURSOR它可能也要动态的变化，它可能也得在产品策略上有一些动态的调整。
说它可能就需要去一方面是说能不能有一些模型的能力，我的技术研发的陡曲线还是很陡峭的；另一方面就是说它能不能有一些。
说它可能就需要去一方面是说能不能有一些模型的能力，我的技术研发的陡曲线还是很陡峭的；另一方面就是说它能不能有一些。
就是比如别人做不到的工具或者环境，就是但这个我觉得都是一些现在没有办法直接回答的问题吧。
就是比如别人做不到的工具或者环境，就是但这个我觉得都是一些现在没有办法直接回答的问题吧。
但只能说现在看起来就我觉得一方的这个整合优势是应该是存在的。
但只能说现在看起来就我觉得一方的这个整合优势是应该是存在的。
嗯哎你形容K2是哪个峰？
嗯哎你形容K2是哪个峰？
哪个哪个山峰？
哪个哪个山峰？
对K2本来就是一个可能是世界上最难攀登的山峰啊，就刚好这个名字有点重合啊。
对K2本来就是一个可能是世界上最难攀登的山峰啊，就刚好这个名字有点重合啊。
这是你故意选的这个名字吗？
这是你故意选的这个名字吗？
呃对当然他刚好也是刚好也是K2。
呃对当然他刚好也是刚好也是K2。
就是对就是我那我们也希望说那个首先它不是终点对吧就是因为它不是最高的山峰对它第二它可能是最难的因为我觉得就是说你你可能啊因为现在有很多范式的转变嘛就是你可能从从对话到这个AGENT然后可能你的BASE MODEL的SCALE也进一步变大就是它本身它肯定存在难度嗯那就是所以就刚好反正跟这个好像有点关联。
就是对就是我那我们也希望说那个首先它不是终点对吧就是因为它不是最高的山峰对它第二它可能是最难的因为我觉得就是说你你可能啊因为现在有很多范式的转变嘛就是你可能从从对话到这个AGENT然后可能你的BASE MODEL的SCALE也进一步变大就是它本身它肯定存在难度嗯那就是所以就刚好反正跟这个好像有点关联。
这结果超出你预期没有。
这结果超出你预期没有。
呃差不多吧反正就因为基本上你这个模型训了怎么样其实在过程中就已经知道了就就是他并不会说好像有一些惊喜或者惊讶。
呃差不多吧反正就因为基本上你这个模型训了怎么样其实在过程中就已经知道了就就是他并不会说好像有一些惊喜或者惊讶。
或者你的啊哈moment.
或者你的啊哈moment.
吗也还好因为很多东西它是可以被预测就是因为我觉得更重要的是这个预测的能力因为这是这个你训一次模型一是需要周期二是需要有成本所以我们希望在早期尽可能多的就是把所有能预测的都预测到。
吗也还好因为很多东西它是可以被预测就是因为我觉得更重要的是这个预测的能力因为这是这个你训一次模型一是需要周期二是需要有成本所以我们希望在早期尽可能多的就是把所有能预测的都预测到。
唯一的呃那个没预测到就刚刚说的那个max logic的问题，但那个确实没办法就是因为你你你小规模它就预测不了嘛。
唯一的呃那个没预测到就刚刚说的那个max logic的问题，但那个确实没办法就是因为你你你小规模它就预测不了嘛。
对其他的我觉得都是都是我们希望尽可能把它预测好，所以你你说的东西都是在都是验证清楚的情况下然后再scale，那你其实scale的成功率是比较高的。
对其他的我觉得都是都是我们希望尽可能把它预测好，所以你你说的东西都是在都是验证清楚的情况下然后再scale，那你其实scale的成功率是比较高的。
嗯哎你怎么看张翔宇说那个next token prediction的本质缺陷？
嗯哎你怎么看张翔宇说那个next token prediction的本质缺陷？
你知道这个吗？
你知道这个吗？
我我不太懂他的意思是说随着模型规模扩大对话能力知识量和情商都在变强但是推理能力尤其数学的表现是先上升后平缓然后再扩大反而下降所以他觉得就是用更大的模型比如说做数学问题倾向于跳步不老实他觉得这个是next token prediction的本质缺陷。
我我不太懂他的意思是说随着模型规模扩大对话能力知识量和情商都在变强但是推理能力尤其数学的表现是先上升后平缓然后再扩大反而下降所以他觉得就是用更大的模型比如说做数学问题倾向于跳步不老实他觉得这个是next token prediction的本质缺陷。
对但是你可以对所以要搭配可能强化学习的skating我我觉得就是确实如果你今天不做强化学习他这个模型他很难说很聪明。
对但是你可以对所以要搭配可能强化学习的skating我我觉得就是确实如果你今天不做强化学习他这个模型他很难说很聪明。
嗯，就是或者像数学题这种，他不一定做的非常好，就是但但确实我觉得更大的 base 他的他强化学习上，强化学习的上限还是会更高。
嗯，就是或者像数学题这种，他不一定做的非常好，就是但但确实我觉得更大的 base 他的他强化学习上，强化学习的上限还是会更高。
嗯，对对，就是因为因为他的知识更多，就是本质上是说去激活一个推理的。
嗯，对对，就是因为因为他的知识更多，就是本质上是说去激活一个推理的。
但是让他能把那个知识解锁出来。
但是让他能把那个知识解锁出来。
嗯，然后把那个对。
嗯，然后把那个对。
对就是它上限会更高但是你要搭配一个RL去激活它嗯。
对就是它上限会更高但是你要搭配一个RL去激活它嗯。
世界模型你怎么看。
世界模型你怎么看。
嗯。
嗯。
一种说法说做世界模型是造世界做agent是造造。
一种说法说做世界模型是造世界做agent是造造。
人嗯嗯所以最后像我刚刚说的用AI训练AI有有点这个意思嗯就是你有一个很好的世界模型你就模拟这些东西它那就是用AI训练AI的方式它的泛化就会好很多就是我觉得这个有可能是去通往更好的泛化的一种一一种可能性。
人嗯嗯所以最后像我刚刚说的用AI训练AI有有点这个意思嗯就是你有一个很好的世界模型你就模拟这些东西它那就是用AI训练AI的方式它的泛化就会好很多就是我觉得这个有可能是去通往更好的泛化的一种一一种可能性。
你的一个投资人说第一次见你的时候你就开始讲GPT10可能长什么样你现在觉得GPT10长什么样。
你的一个投资人说第一次见你的时候你就开始讲GPT10可能长什么样你现在觉得GPT10长什么样。
呃。
呃。
还会有GPT.
还会有GPT.
10吗我当时说了。
10吗我当时说了。
什么就就是他他他对你影响很深的原因就是因为你第一次见他你就开始说你你说的不是GPT4GPT5长什么样子你说的是GPT10长什么样我不知道你说的什么。
什么就就是他他他对你影响很深的原因就是因为你第一次见他你就开始说你你说的不是GPT4GPT5长什么样子你说的是GPT10长什么样我不知道你说的什么。
OK嗯今天对你影响深OKOK对我我我觉得。
OK嗯今天对你影响深OKOK对我我我觉得。
但其实我觉得我们今天其实已经、已经好像实现了之前预想了很多东西，比如说比比如说你你真的能完成几个小时的这种任务。
但其实我觉得我们今天其实已经、已经好像实现了之前预想了很多东西，比如说比比如说你你真的能完成几个小时的这种任务。
嗯，觉得这个这个发展还是很快的对，然后但我觉得整体就是你就是逐渐建更多的。
嗯，觉得这个这个发展还是很快的对，然后但我觉得整体就是你就是逐渐建更多的。
越就是逐渐见更多的EVALUATION然后然后去突破这个泛化的过程嘛其实我我倒是觉得这个好像相对来说还是比较明确。
越就是逐渐见更多的EVALUATION然后然后去突破这个泛化的过程嘛其实我我倒是觉得这个好像相对来说还是比较明确。
的建议EVALUATION上面你们有获得什么认知。
的建议EVALUATION上面你们有获得什么认知。
没有我们也在探索嘛就是你刚刚说的世界模型你可以认为它是这里面的一部分对就是但是怎么实现我觉得现在还。
没有我们也在探索嘛就是你刚刚说的世界模型你可以认为它是这里面的一部分对就是但是怎么实现我觉得现在还。
呃还需要更多的实验嘛对嗯嗯对嗯。
呃还需要更多的实验嘛对嗯嗯对嗯。
过去您对组织有新的想法没有新的思考没有。
过去您对组织有新的想法没有新的思考没有。
好问题，我觉得现在就是最近也在想一个事情，就是说有嗯有几个东西它它好像有点联系在一起。
好问题，我觉得现在就是最近也在想一个事情，就是说有嗯有几个东西它它好像有点联系在一起。
就是如果你看我们去做科研，或者说创造新知识的过程，它很像一个强化学习的过程。
就是如果你看我们去做科研，或者说创造新知识的过程，它很像一个强化学习的过程。
就就是说有有一种理论是说叫叫经验主义，说能得到新的知识是从经验来的，然后后来当然有很多观点就是认为不是这样。
就就是说有有一种理论是说叫叫经验主义，说能得到新的知识是从经验来的，然后后来当然有很多观点就是认为不是这样。
呃，就是其实人类在这个地球上已经存在非常非常多年。
呃，就是其实人类在这个地球上已经存在非常非常多年。
但是可能你300、400年之前没有任何人说，其实地球是个球，就是一直在这个经验里。
但是可能你300、400年之前没有任何人说，其实地球是个球，就是一直在这个经验里。
但是你你并不知道事实是什么样，所以经验并不能直接给你这个知识。
但是你你并不知道事实是什么样，所以经验并不能直接给你这个知识。
啊，而是你提出了这个猜想。
啊，而是你提出了这个猜想。
就是说你你观察到一些东西，然后但你提出猜想说：我认为这个球可能是圆的，然后我想各种办法去验证它啊。
就是说你你观察到一些东西，然后但你提出猜想说：我认为这个球可能是圆的，然后我想各种办法去验证它啊。
包括现在训练这个神经网络，你可能观察到你几十万个内科指标，你观察到有一些内科指标可能不太对啊。
包括现在训练这个神经网络，你可能观察到你几十万个内科指标，你观察到有一些内科指标可能不太对啊。
那你就你那你直接观测，你并不能给你新的知识，你你只是说我我提出来一个猜想，它为什么会这样对吧？
那你就你那你直接观测，你并不能给你新的知识，你你只是说我我提出来一个猜想，它为什么会这样对吧？
然后我再设计一些实验。
然后我再设计一些实验。
去验证它。
去验证它。
所以这个是现在可能我们觉得比较好的方，当然就是可能所有好的科研的方式都是这样。
所以这个是现在可能我们觉得比较好的方，当然就是可能所有好的科研的方式都是这样。
但这几个东西好像三号是相通的，就是说因为你发现就是你好像管理一个团队，它也是这样的方法，就是你是要呃用IO的方式去管理，对？
但这几个东西好像三号是相通的，就是说因为你发现就是你好像管理一个团队，它也是这样的方法，就是你是要呃用IO的方式去管理，对？
当然这个是这个是TEAM天天跟我讲的，就是说在你觉得要用这个IO的方式去管理，而不是用SFT。
当然这个是这个是TEAM天天跟我讲的，就是说在你觉得要用这个IO的方式去管理，而不是用SFT。
对，当然现在你发现好的技术。
对，当然现在你发现好的技术。
你是说你你做L的时候，你其实也希望加一部分SFT，因为SFT是很好的鲜艳，就是所谓的PTX LOSS。
你是说你你做L的时候，你其实也希望加一部分SFT，因为SFT是很好的鲜艳，就是所谓的PTX LOSS。
然后你不希望这个模型可能飞飞太远，对？
然后你不希望这个模型可能飞飞太远，对？
但是你又要管住自己的手，就是说你你不能SFT太多，SFT太多这个你的这些同学他就会失去这个主观能动性。
但是你又要管住自己的手，就是说你你不能SFT太多，SFT太多这个你的这些同学他就会失去这个主观能动性。
然后就没有办法创新了。
然后就没有办法创新了。
这个点我现在反正我也在做一些实践嘛，就是好像看起来有一些效果，然后但是核心是掌握SFT和IO的平衡。
这个点我现在反正我也在做一些实践嘛，就是好像看起来有一些效果，然后但是核心是掌握SFT和IO的平衡。
SFT就是你是直接给他，就是说这个东西应该这样、这样、这样这样做对吧？
SFT就是你是直接给他，就是说这个东西应该这样、这样、这样这样做对吧？
然后IO就是说你给他一个从上而下，IO就是给他一个奖励，就是说如果做成这样，那他可能就是好的，那可能更多时候他是反映在目标上。
然后IO就是说你给他一个从上而下，IO就是给他一个奖励，就是说如果做成这样，那他可能就是好的，那可能更多时候他是反映在目标上。
然后呃就我觉得这两个东西它可能需要一些平衡，然后可能比如说以RL为主，呃对就是然后通过一部分的SFT去防止它就是非非非太远的你还是要有一些鲜艳去控制或者防止它遗忘掉一些东西。
然后呃就我觉得这两个东西它可能需要一些平衡，然后可能比如说以RL为主，呃对就是然后通过一部分的SFT去防止它就是非非非太远的你还是要有一些鲜艳去控制或者防止它遗忘掉一些东西。
我觉得这些好像某种程度都是连接在一起，就是RL好像是一个很本质的东西，就是好像你的组织在做创新它本质上也是一个RL，但这其实就是说你在RL过程中你定这个奖励或者定这个指标它并不是非常简单的一个事情，就比如说如果你只是最后说我我我就是要把所有的BENCHMARK.
我觉得这些好像某种程度都是连接在一起，就是RL好像是一个很本质的东西，就是好像你的组织在做创新它本质上也是一个RL，但这其实就是说你在RL过程中你定这个奖励或者定这个指标它并不是非常简单的一个事情，就比如说如果你只是最后说我我我就是要把所有的BENCHMARK.
呃，做得很高啊。
呃，做得很高啊。
那你可能就会出现很多OVERFITTING的问题，对吧？
那你可能就会出现很多OVERFITTING的问题，对吧？
就就是因为你，你所有人都会不择手段地把那个分给弄上去。
就就是因为你，你所有人都会不择手段地把那个分给弄上去。
但是弄完之后你发现，诶，这个模型好像还并没有变好，就是有可能会出现这样的问题。
但是弄完之后你发现，诶，这个模型好像还并没有变好，就是有可能会出现这样的问题。
所以这个奖励的定义就很重要啊，或者说这个奖励的定义也需要你很了解这个。
所以这个奖励的定义就很重要啊，或者说这个奖励的定义也需要你很了解这个。
具体的细节是怎么运作的？
具体的细节是怎么运作的？
不然的话，就它就会出现REWARD HACKING。
不然的话，就它就会出现REWARD HACKING。
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕，帮助你打破语言障碍，轻松听懂全球优质播客。