本集简介
双语字幕
仅展示文本字幕，不包含中文音频；想边听边看，请使用 Bayt 播客 App。
哈喽，大家好，欢迎收听硅谷101。
哈喽，大家好，欢迎收听硅谷101。
我是红军。
我是红军。
最近Anthropic他承认了一件事儿，他们现在80%的代码已经不是人写的，是CLOUD自己写的。
最近Anthropic他承认了一件事儿，他们现在80%的代码已经不是人写的，是CLOUD自己写的。
这家全世界最谨慎的AI公司同时发出了一个警告：AI可能很快就要自己设计、自己去训练下一代的AI了。
这家全世界最谨慎的AI公司同时发出了一个警告：AI可能很快就要自己设计、自己去训练下一代的AI了。
他们管这个叫做递归自我提升，英文是RSI，也是硅谷今年对模型能力最热的讨论方向之一。
他们管这个叫做递归自我提升，英文是RSI，也是硅谷今年对模型能力最热的讨论方向之一。
那今天这期节目呢，我们的含金量高了，我们请到了两位真正正在做这件事情的研究员。
那今天这期节目呢，我们的含金量高了，我们请到了两位真正正在做这件事情的研究员。
他们所在的公司叫做Apodex，背后是陈天桥出资创立并亲自主导的。
他们所在的公司叫做Apodex，背后是陈天桥出资创立并亲自主导的。
那这家公司给自己的定位也非常的特别，他们不做图片生成，不做视频生成，只做一件事。
那这家公司给自己的定位也非常的特别，他们不做图片生成，不做视频生成，只做一件事。
他们自己呢叫做Heavy Duty Solver，意思是专啃那些没有标准答案，人类自己都不知道从哪下手的难题。
他们自己呢叫做Heavy Duty Solver，意思是专啃那些没有标准答案，人类自己都不知道从哪下手的难题。
那他们管自己想做的模型叫做Discovery Model，不是从已知的信息里面找答案，而是要提出人类还没有想到过的假设，然后自己想办法去验证它，去解决这个世界上还没有被解决的科学难题。
那他们管自己想做的模型叫做Discovery Model，不是从已知的信息里面找答案，而是要提出人类还没有想到过的假设，然后自己想办法去验证它，去解决这个世界上还没有被解决的科学难题。
这也是为什么这家公司叫APPLEDEX，因为词源就是希腊语里的证明和论证。
这也是为什么这家公司叫APPLEDEX，因为词源就是希腊语里的证明和论证。
如果AI真的可以教自己，人类科学家还剩下什么。
如果AI真的可以教自己，人类科学家还剩下什么。
让我睡不着觉的一个问题？
让我睡不着觉的一个问题？
就是我们怎么知道这个模型在自我进化的时候它没有跑偏。
就是我们怎么知道这个模型在自我进化的时候它没有跑偏。
同时贝宾也在这集节目里面讲到了他自己蒸馏自己的想法。
同时贝宾也在这集节目里面讲到了他自己蒸馏自己的想法。
这个在过去职业生涯里，曾经每天都在跟马斯克、跟陈天桥讨论技术问题的研究员。
这个在过去职业生涯里，曾经每天都在跟马斯克、跟陈天桥讨论技术问题的研究员。
我采访的时候有那么一瞬间觉得他下一刻就工作不保了，于是我问他：「我们假设啊，真的把被冰蒸馏了，你会担心自己失业吗？
我采访的时候有那么一瞬间觉得他下一刻就工作不保了，于是我问他：「我们假设啊，真的把被冰蒸馏了，你会担心自己失业吗？
」说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧。
」说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧。
那这一集我们就站在AI自进化的分界点上，与两位一线的研究员聊一聊硅谷模型的核心发展趋势。
那这一集我们就站在AI自进化的分界点上，与两位一线的研究员聊一聊硅谷模型的核心发展趋势。
以及未来模型能不能超越人类顶尖科学家的水平，真正的去提出问题、去发现问题。
以及未来模型能不能超越人类顶尖科学家的水平，真正的去提出问题、去发现问题。
下面就请收听我们今天的节目。
下面就请收听我们今天的节目。
那今天跟我在一起的两位嘉宾，一位是simon杜少雷，嗨simon你好。
那今天跟我在一起的两位嘉宾，一位是simon杜少雷，嗨simon你好。
你好。
你好。
对simon是华盛顿大学计算机系的副教授，同时也是apple dex的首席科学家，负责训练与推理方向。
对simon是华盛顿大学计算机系的副教授，同时也是apple dex的首席科学家，负责训练与推理方向。
那还有一位嘉宾是apple dex的首席科学家，负责代码与自进化方向的李贝斌，哈喽贝斌你好。
那还有一位嘉宾是apple dex的首席科学家，负责代码与自进化方向的李贝斌，哈喽贝斌你好。
你好。
你好。
那欢迎两位啊，我们刚刚提到了今年有一个词很火嘛，就是rsi，然后我发现其实这个大模型它的预训练后训练包括它的核心的训练方向啊，它可能是每年都有一些新的方向出来。
那欢迎两位啊，我们刚刚提到了今年有一个词很火嘛，就是rsi，然后我发现其实这个大模型它的预训练后训练包括它的核心的训练方向啊，它可能是每年都有一些新的方向出来。
我记得前几年我们在聊的最火的是deep research深度研究。
我记得前几年我们在聊的最火的是deep research深度研究。
再到CODING，就代码方向。
再到CODING，就代码方向。
今年呢，就到了自进化SELF INVOLVE的方向。
今年呢，就到了自进化SELF INVOLVE的方向。
首先想请贝宾跟SIMON大家一起来分析一下，这后面其实是几个不同的方向，还是说它有一个核心的主线在主导这个模型往哪个方向走的？
首先想请贝宾跟SIMON大家一起来分析一下，这后面其实是几个不同的方向，还是说它有一个核心的主线在主导这个模型往哪个方向走的？
我感觉从训练的角度来看，其实是同一个能力在提高，其实都是推理的能力、长链推理的能力，还有就是在环境中进行一些探索、执行一些动作。
我感觉从训练的角度来看，其实是同一个能力在提高，其实都是推理的能力、长链推理的能力，还有就是在环境中进行一些探索、执行一些动作。
获得了这个信号之后，再进行下一步的探索。
获得了这个信号之后，再进行下一步的探索。
不管是在DEEP RESEARCH还是CODING这些环境下，其实它的内核都是一样的，只是它的方向有一些细微的区别。
不管是在DEEP RESEARCH还是CODING这些环境下，其实它的内核都是一样的，只是它的方向有一些细微的区别。
我们说的自我进化这个概念，其实并不是一个新的概念了。
我们说的自我进化这个概念，其实并不是一个新的概念了。
我就不说远的，在八九十年代关于AI和MACHINE LEARNING的自我进化，我就光说LANGUAGE MODEL的自我进化，其实往前推的话也可以推到大概3年前左右。
我就不说远的，在八九十年代关于AI和MACHINE LEARNING的自我进化，我就光说LANGUAGE MODEL的自我进化，其实往前推的话也可以推到大概3年前左右。
那个时候Google就有一篇论文叫做LM as Optimizer，就是说用语言学习模型当做一个优化器可以优化不同的东西。
那个时候Google就有一篇论文叫做LM as Optimizer，就是说用语言学习模型当做一个优化器可以优化不同的东西。
当时我在Autogen那边也有我的同事有出一个类似的概念叫做Agent Optimizer，就是说智能助手可以自己的进化自己的优化自己。
当时我在Autogen那边也有我的同事有出一个类似的概念叫做Agent Optimizer，就是说智能助手可以自己的进化自己的优化自己。
只不过这两年的话大家发现模型的能力越来越强了。
只不过这两年的话大家发现模型的能力越来越强了。
它可以自我优化的东西越来越多了。
它可以自我优化的东西越来越多了。
就比如说ANTHROPIC，有80%的代码是可以自己写的训练模型呢？
就比如说ANTHROPIC，有80%的代码是可以自己写的训练模型呢？
不管是从哪个角度来说，从合成数据的生成、自然语言数据的清理，还是自我训练学习的代码算法，以及INFRA底层代码，其实它都是一种代码的形式。
不管是从哪个角度来说，从合成数据的生成、自然语言数据的清理，还是自我训练学习的代码算法，以及INFRA底层代码，其实它都是一种代码的形式。
一旦模型的写代码能力变强了，用它来进行自我提升、自己训练自己，其实是非常自然的一件事情。
一旦模型的写代码能力变强了，用它来进行自我提升、自己训练自己，其实是非常自然的一件事情。
所以我并不觉得突然今年哦，大家发现我们要自我学习、自我进化，让模型自己训练自己。
所以我并不觉得突然今年哦，大家发现我们要自我学习、自我进化，让模型自己训练自己。
其实早在两三年前，大家已经开始慢慢地做这件事情了。
其实早在两三年前，大家已经开始慢慢地做这件事情了。
贝比，你之前的背景是一直在关注模型的自我进化这条线是吗？
贝比，你之前的背景是一直在关注模型的自我进化这条线是吗？
你要不要简单介绍一下自己的背景？
你要不要简单介绍一下自己的背景？
呃，对我最开始是在微软研究院那边做多智能体的合作。
呃，对我最开始是在微软研究院那边做多智能体的合作。
当然那个时候我们不叫做自我进化，因为那个时候智能体都是一个比较新的概念，所以大家一般对外说都是说智能体。
当然那个时候我们不叫做自我进化，因为那个时候智能体都是一个比较新的概念，所以大家一般对外说都是说智能体。
但是实际上我同事的一些工作就已经开始进行一些自我进化的，当时我们叫做 agent optimizer 和 teachable agent 智能体可以教智能体下一次再做类似的事情的时候可以用哪一些技能。
但是实际上我同事的一些工作就已经开始进行一些自我进化的，当时我们叫做 agent optimizer 和 teachable agent 智能体可以教智能体下一次再做类似的事情的时候可以用哪一些技能。
和现在的我们说的 skills 这个概念有点像，但那个时候大家用的概念还是说，比如说 context management 或者是 prompt engineering 就是上下文管理。
和现在的我们说的 skills 这个概念有点像，但那个时候大家用的概念还是说，比如说 context management 或者是 prompt engineering 就是上下文管理。
以及 prompt engineering 就是工程学怎么样修改这个 prompt。
以及 prompt engineering 就是工程学怎么样修改这个 prompt。
后来我去了META和XAI，在XAI的时候，我们就已经开始关注智能体R、AGENIC R，就是通过强化学习来加强智能体的一些能力吧。
后来我去了META和XAI，在XAI的时候，我们就已经开始关注智能体R、AGENIC R，就是通过强化学习来加强智能体的一些能力吧。
比如说用工具的能力、写代码的能力，当时还有一个概念叫做MCP TOOLS，当然现在也非常火，用MCP工具的这些能力。
比如说用工具的能力、写代码的能力，当时还有一个概念叫做MCP TOOLS，当然现在也非常火，用MCP工具的这些能力。
所以我们其实在早期SIMON和我大概一年前左右就发现了，其实模型提高自己是非常可行的一件事情。
所以我们其实在早期SIMON和我大概一年前左右就发现了，其实模型提高自己是非常可行的一件事情。
包括我们当时做的一些强化学习的数据生成啊，其实有很大一部分是代码写的。
包括我们当时做的一些强化学习的数据生成啊，其实有很大一部分是代码写的。
到今年年初的时候，ANGEL CAPACITY发表了关于AUTO RESEARCH，就是自己进行科研的一个项目，突然一下这个概念就爆火了。
到今年年初的时候，ANGEL CAPACITY发表了关于AUTO RESEARCH，就是自己进行科研的一个项目，突然一下这个概念就爆火了。
我觉得非常好的这个自我进化的总结啊。
我觉得非常好的这个自我进化的总结啊。
今年说到模型的自我进化，跟往年来说，模型的自我进化有什么不一样的地方吗？
今年说到模型的自我进化，跟往年来说，模型的自我进化有什么不一样的地方吗？
我觉得今年大家再提到 rsi 的时候，他说的是一种递归自我提升。
我觉得今年大家再提到 rsi 的时候，他说的是一种递归自我提升。
贝比，你要不要跟大家解释一下这个概念，以及就比如说我们说这个概念的时候，是不是说以前我们在让 ai 进化的时候，考官还是人。
贝比，你要不要跟大家解释一下这个概念，以及就比如说我们说这个概念的时候，是不是说以前我们在让 ai 进化的时候，考官还是人。
现在考官逐渐变成 ai 了，他是不是在解决更难的问题？
现在考官逐渐变成 ai 了，他是不是在解决更难的问题？
对的，这是一个非常好的问题。
对的，这是一个非常好的问题。
其实自我进化如果大家想象成是一个圆环的话，比如说模型自己找问题，自己出题，自己解答，然后自己训练自己。
其实自我进化如果大家想象成是一个圆环的话，比如说模型自己找问题，自己出题，自己解答，然后自己训练自己。
那SI里面的这个R就代表是RECURSIVE递归式，就有点像垂直的递归式，慢慢、慢慢向上增长。
那SI里面的这个R就代表是RECURSIVE递归式，就有点像垂直的递归式，慢慢、慢慢向上增长。
这一点确实是跟以往的一些自进化有一点点不一样。
这一点确实是跟以往的一些自进化有一点点不一样。
当然这一个IDEA也不是新的，今年跟往年的最大的区别就是在于模型的能力变强了。
当然这一个IDEA也不是新的，今年跟往年的最大的区别就是在于模型的能力变强了。
比如说ANTHROPIC发表的论文，或者是说发表的BLOG有提到，80%的代码是他们写的，然后他们可以做人类大概一天左右时间做的事情。
比如说ANTHROPIC发表的论文，或者是说发表的BLOG有提到，80%的代码是他们写的，然后他们可以做人类大概一天左右时间做的事情。
这个能力上来了之后，因为它是可以完成非常长程的任务，所以在一个长程的任务里面，这个模型可以提高自己好几遍。
这个能力上来了之后，因为它是可以完成非常长程的任务，所以在一个长程的任务里面，这个模型可以提高自己好几遍。
不像过往的，比如说我们说 lm as optimizer 或者是 agent optimizer 的时候，这个 lm 只会一次可能优化自己大概两三个小时。
不像过往的，比如说我们说 lm as optimizer 或者是 agent optimizer 的时候，这个 lm 只会一次可能优化自己大概两三个小时。
因为你优化太久了，他可能因为自己的 bias 或者自己的能力不足，就很难继续往下迭代。
因为你优化太久了，他可能因为自己的 bias 或者自己的能力不足，就很难继续往下迭代。
因为他可能会犯一个小错误，然后那个小错误会自我积累，越积累越大，到之后就没有办法进行自我的迭代。
因为他可能会犯一个小错误，然后那个小错误会自我积累，越积累越大，到之后就没有办法进行自我的迭代。
而今年为什么这个 recursive 这个 r 出来了？
而今年为什么这个 recursive 这个 r 出来了？
因为大家发现。
因为大家发现。
这个模型可以进行很长程的任务，所以它可以让这个模型自己recursive多提高级别。
这个模型可以进行很长程的任务，所以它可以让这个模型自己recursive多提高级别。
对，我看这篇文章里面有一个数据啊，就是说2024年3月份cloud3的opera，它可以完成人类约4分钟完成的任务。
对，我看这篇文章里面有一个数据啊，就是说2024年3月份cloud3的opera，它可以完成人类约4分钟完成的任务。
一年后呢，就是3.7sonic就可以处理需要1.5小时处理的任务。
一年后呢，就是3.7sonic就可以处理需要1.5小时处理的任务。
又过了一年，这个cloud4.6opera可以处理长达12个小时的任务。
又过了一年，这个cloud4.6opera可以处理长达12个小时的任务。
整个我们看到大模型的改进速度是在翻倍的嘛，而且这个比我们计算机领域的经典的摩尔定律它的翻倍的速度还要快。
整个我们看到大模型的改进速度是在翻倍的嘛，而且这个比我们计算机领域的经典的摩尔定律它的翻倍的速度还要快。
对是的，当然这个业界各家都有不同的说法，但是好像大家比较接受的判断是这个模型能做的的事情对于人类时间来说每7个月会翻一倍。
对是的，当然这个业界各家都有不同的说法，但是好像大家比较接受的判断是这个模型能做的的事情对于人类时间来说每7个月会翻一倍。
对对，然后您刚刚提到这个RSI它可以处理长城任务啊，我们理解这个长城是不是可以理解成它是一个需要很多个步骤很多个环节来互相印证的一系列任务，假设我给一篇音频的文字稿给到模型去校正这个事实性的错误这只算一步。
对对，然后您刚刚提到这个RSI它可以处理长城任务啊，我们理解这个长城是不是可以理解成它是一个需要很多个步骤很多个环节来互相印证的一系列任务，假设我给一篇音频的文字稿给到模型去校正这个事实性的错误这只算一步。
但是比如说他能从开始的规划一直到最终这个播客做出来，这中间可能有十几个步骤，他能把每一个步骤都做好。
但是比如说他能从开始的规划一直到最终这个播客做出来，这中间可能有十几个步骤，他能把每一个步骤都做好。
长城任务是指这个意思吗？
长城任务是指这个意思吗？
对，是的。
对，是的。
我说的长城任务是这个意思。
我说的长城任务是这个意思。
当然不同的人对长城的定义也有点不一样，但是大体方向大家都同意这一点，就是模型可以自己在人类不监督的情况下可以工作很长。
当然不同的人对长城的定义也有点不一样，但是大体方向大家都同意这一点，就是模型可以自己在人类不监督的情况下可以工作很长。
像您刚刚说的，对于播客文件处理，就比如说这个模型可以先剪切一下这个音频，然后自己听一遍。
像您刚刚说的，对于播客文件处理，就比如说这个模型可以先剪切一下这个音频，然后自己听一遍。
发现哪里剪得不对，然后重新剪。
发现哪里剪得不对，然后重新剪。
这样可以循环几次，然后就可以进行到下一个点。
这样可以循环几次，然后就可以进行到下一个点。
这种任务可能平时对一个人类来说，可能要花20个小时或者30个小时可以做完。
这种任务可能平时对一个人类来说，可能要花20个小时或者30个小时可以做完。
在这个时候，如果我们的模型可以在人类不监督的情况下把这个任务完成的话，那我觉得它就完成了这个长城的任务。
在这个时候，如果我们的模型可以在人类不监督的情况下把这个任务完成的话，那我觉得它就完成了这个长城的任务。
嗯，你觉得它是怎么做到的呢？
嗯，你觉得它是怎么做到的呢？
这里就有非常多的技术细节。
这里就有非常多的技术细节。
首先就是在模型的架构上，可能就要有进行一些创新。
首先就是在模型的架构上，可能就要有进行一些创新。
比如说传统的SELF ATTENTION，其实是一个ON SQUARE，就是我们在算法里说的是一个POLYNOMIAL TIME的算法。
比如说传统的SELF ATTENTION，其实是一个ON SQUARE，就是我们在算法里说的是一个POLYNOMIAL TIME的算法。
所以当我们的TOKENS比较多的时候，特别是在100万个上下文的时候，其实模型首先就是在推理的时候就会花非常多的RESOURCE。
所以当我们的TOKENS比较多的时候，特别是在100万个上下文的时候，其实模型首先就是在推理的时候就会花非常多的RESOURCE。
这个我们有很多现成的解法，就比如说 gdn，gdn v two，deepseek v four pro，它也有自己的一套架构。
这个我们有很多现成的解法，就比如说 gdn，gdn v two，deepseek v four pro，它也有自己的一套架构。
第二就是训练数据，我们要100万上下文，inference support 其实不是特别的难。
第二就是训练数据，我们要100万上下文，inference support 其实不是特别的难。
就是我们只要把模型训练好了，放到 sglang 或者 vllm 里面，给它参数都设置好，它可以支持100万上下文，甚至更多的上下文。
就是我们只要把模型训练好了，放到 sglang 或者 vllm 里面，给它参数都设置好，它可以支持100万上下文，甚至更多的上下文。
但是如果你的模型没有在这种非常长的数据下进行训练的话。
但是如果你的模型没有在这种非常长的数据下进行训练的话。
那它可能就是我们所谓的 out of distribution。
那它可能就是我们所谓的 out of distribution。
因为100万上下文是非常非常长的一个概念，就大概《哈利波特》好几部书放在一起。
因为100万上下文是非常非常长的一个概念，就大概《哈利波特》好几部书放在一起。
而我们的代码即使是最大的REPO也很难会SATURATE来满足这100万的上下文，所以在预训练和后训练的数据处理上也是非常大的一个挑战。
而我们的代码即使是最大的REPO也很难会SATURATE来满足这100万的上下文，所以在预训练和后训练的数据处理上也是非常大的一个挑战。
第三点就是INFRA也是一个难度，不仅是说在TESTING TIME的INFRA，而且是在训练时候的INFRA。
第三点就是INFRA也是一个难度，不仅是说在TESTING TIME的INFRA，而且是在训练时候的INFRA。
因为你要如果让这个语言模型就直接输出100万个TOKEN的话，我们需要就比如说在GPU上做一些什么样的优化，在KERNEL上改一些什么样的代码，这些也是非常困难的事情。
因为你要如果让这个语言模型就直接输出100万个TOKEN的话，我们需要就比如说在GPU上做一些什么样的优化，在KERNEL上改一些什么样的代码，这些也是非常困难的事情。
所以这个就是为何训练这种长城任务相对于普通任务会是指数级的难度增长哦。
所以这个就是为何训练这种长城任务相对于普通任务会是指数级的难度增长哦。
了解了解，塞梦有补充的吗？
了解了解，塞梦有补充的吗？
还有就是真想解决长城问题的话，可能从AGENT的架构上也可以有很多可以做的，因为。
还有就是真想解决长城问题的话，可能从AGENT的架构上也可以有很多可以做的，因为。
即使是我们有100万的上下文可以处理，但是真正长城的任务可能都还是不止100万。
即使是我们有100万的上下文可以处理，但是真正长城的任务可能都还是不止100万。
那这个时候我们还是需要，比如说在有限的上下文里处理，甚至无限的上下文。
那这个时候我们还是需要，比如说在有限的上下文里处理，甚至无限的上下文。
那怎么做呢？
那怎么做呢？
还是需要一些比如说AGENT的技术啊、记忆的技术啊等等去处理这种超长城任务所涉及的超长上下文这样的问题。
还是需要一些比如说AGENT的技术啊、记忆的技术啊等等去处理这种超长城任务所涉及的超长上下文这样的问题。
嗯，我们听起来很简单，但是这个中间可能涉及到了很多具体细分的技术体系。
嗯，我们听起来很简单，但是这个中间可能涉及到了很多具体细分的技术体系。
之前我记得贝宾你有讲过啊，训练一个模型其实本质就是DATA数据、INFRA基础架构和算法这三件事儿。
之前我记得贝宾你有讲过啊，训练一个模型其实本质就是DATA数据、INFRA基础架构和算法这三件事儿。
其实这三件事儿都高度的依赖写代码，所以我们今天看到像CLOUD它能表现出这么强的基础模型的研发能力，主要是因为它CODING能力的提升、自进化的能力，它也是跟CODING的能力是紧密相关的。
其实这三件事儿都高度的依赖写代码，所以我们今天看到像CLOUD它能表现出这么强的基础模型的研发能力，主要是因为它CODING能力的提升、自进化的能力，它也是跟CODING的能力是紧密相关的。
我可以这样理解吗？
我可以这样理解吗？
对，我基本上同意这个看法。
对，我基本上同意这个看法。
对，所以CODING它会变成所有模型的一个标配的底座。
对，所以CODING它会变成所有模型的一个标配的底座。
我觉得它会变成大部分模型的标配底座，但并不是所有模型的。
我觉得它会变成大部分模型的标配底座，但并不是所有模型的。
就比如说聊天型的模型，可能不太需要写代码的能力。
就比如说聊天型的模型，可能不太需要写代码的能力。
当然了，聊天型的小模型可能也是通过一个大模型进行蒸馏的，所以它后面这个大模型需要非常大的，比如说REASONING推理能力。
当然了，聊天型的小模型可能也是通过一个大模型进行蒸馏的，所以它后面这个大模型需要非常大的，比如说REASONING推理能力。
需要自我进化，所以能自我进化来蒸馏到小模型里面。
需要自我进化，所以能自我进化来蒸馏到小模型里面。
所以它背后的这些大模型肯定还是需要高度优化写代码的能力的。
所以它背后的这些大模型肯定还是需要高度优化写代码的能力的。
嗯，我可不可以理解成单纯的聊天还好？
嗯，我可不可以理解成单纯的聊天还好？
因为现在我们其实都在讲怎么让AGENT完成一系列的事情。
因为现在我们其实都在讲怎么让AGENT完成一系列的事情。
如果一旦涉及到了多步骤，然后让AGENT去完成不同的复杂的任务的时候，CODING能力就会变得特别的关键了。
如果一旦涉及到了多步骤，然后让AGENT去完成不同的复杂的任务的时候，CODING能力就会变得特别的关键了。
是的，没错，因为CODING其实写代码不仅是写代码本身，而且可以通过写代码训练自己。
是的，没错，因为CODING其实写代码不仅是写代码本身，而且可以通过写代码训练自己。
另外的话，它在CODING里面要进行的归纳、演绎这些逻辑推理的基本的思想和算法，其实也可以帮助模型在其他的一些方向上进行优化和GENERALIZE，就是可以泛化到其他不同的领域里。
另外的话，它在CODING里面要进行的归纳、演绎这些逻辑推理的基本的思想和算法，其实也可以帮助模型在其他的一些方向上进行优化和GENERALIZE，就是可以泛化到其他不同的领域里。
嗯，我发现在学术界其实自我进化它还有一个很根本的障碍，就我看大家起了一个学术的名词啊，叫做递归漂移。
嗯，我发现在学术界其实自我进化它还有一个很根本的障碍，就我看大家起了一个学术的名词啊，叫做递归漂移。
它的意思就是说，模型在自己去生成它的训练数据的时候，那它推理的错误呢，会在一次的错误中一代一代去累积。
它的意思就是说，模型在自己去生成它的训练数据的时候，那它推理的错误呢，会在一次的错误中一代一代去累积。
就比如说有的时候我们看它给我们的一个答案啊，这个答案的结果可能是对的，但是呢，它的推理过程可能是错的，在这种让它自我进化的过程中呢，它就会把这个错误一代一代累积，最后可能进化的结果就越来越歪。
就比如说有的时候我们看它给我们的一个答案啊，这个答案的结果可能是对的，但是呢，它的推理过程可能是错的，在这种让它自我进化的过程中呢，它就会把这个错误一代一代累积，最后可能进化的结果就越来越歪。
这是两位在真正的训练模型中遇到的一个比较根本性的难题嘛。
这是两位在真正的训练模型中遇到的一个比较根本性的难题嘛。
我非常同意这个看法，这个现象其实也是我们大家一直有注意到的。
我非常同意这个看法，这个现象其实也是我们大家一直有注意到的。
apple dex 有一个不一样的地方，就是我们比较注重 verification 就是自我验证。
apple dex 有一个不一样的地方，就是我们比较注重 verification 就是自我验证。
就是模型自己在训练自己的时候，如果它的验证有任何的漂移或者是 bias 的话，会对结果造成不好的影响，因为它可以累积起来。
就是模型自己在训练自己的时候，如果它的验证有任何的漂移或者是 bias 的话，会对结果造成不好的影响，因为它可以累积起来。
所以我们在做，比如说写代码和做数学计算的这些任务的时候，我们比较容易验证，可以通过 rule based，就可以通过跑一套测试代码来确定它有没有对。
所以我们在做，比如说写代码和做数学计算的这些任务的时候，我们比较容易验证，可以通过 rule based，就可以通过跑一套测试代码来确定它有没有对。
所以在代码领域，相对来说更好解决这个recursive drift的问题。
所以在代码领域，相对来说更好解决这个recursive drift的问题。
当然了，如果对代码领域有了解的一些专家可能还会发现，即使是有test script，即使有这个test code，它其实偶尔还是会发生漂移。
当然了，如果对代码领域有了解的一些专家可能还会发现，即使是有test script，即使有这个test code，它其实偶尔还是会发生漂移。
就比如说test case，不管是人还是AI，在写测试代码的时候可能偶尔会太宽，偶尔会太窄。
就比如说test case，不管是人还是AI，在写测试代码的时候可能偶尔会太宽，偶尔会太窄。
太宽的时候可能会让错误的解题代码通过，但如果太紧的话，有时候会惩罚写的对的代码。
太宽的时候可能会让错误的解题代码通过，但如果太紧的话，有时候会惩罚写的对的代码。
所以这种情况下，也是还会发生细微的递归漂移。
所以这种情况下，也是还会发生细微的递归漂移。
但是它会简单很多。
但是它会简单很多。
嗯，对我其实很好奇啊，就是你们怎么去做验证？
嗯，对我其实很好奇啊，就是你们怎么去做验证？
因为我知道APPLEDEX验证其实是你们主打的一个核心功能。
因为我知道APPLEDEX验证其实是你们主打的一个核心功能。
因为我去试用了一下你们的产品啊，之后呢，我是有收到一封邮件，这个邮件的标题非常有意思，它叫做很多AI系统生成答案，而APPLEDEX验证它们。
因为我去试用了一下你们的产品啊，之后呢，我是有收到一封邮件，这个邮件的标题非常有意思，它叫做很多AI系统生成答案，而APPLEDEX验证它们。
后来呢，我才知道原来你们公司的名字APPLEX，它是源自于一个希腊语，它的意思就是证明跟论证。
后来呢，我才知道原来你们公司的名字APPLEX，它是源自于一个希腊语，它的意思就是证明跟论证。
所以相当于你们从成立的开始，就把验证、较真儿写到了名字里面。
所以相当于你们从成立的开始，就把验证、较真儿写到了名字里面。
对验证这一步，我们有很多套方法，因为不同的领域确实需要不同的验证方法。
对验证这一步，我们有很多套方法，因为不同的领域确实需要不同的验证方法。
比如说代码，一般来说你可以用。
比如说代码，一般来说你可以用。
单元测试进行验证，当然你怎么写有时候会过宽又过窄，这是另一个很难的问题了。
单元测试进行验证，当然你怎么写有时候会过宽又过窄，这是另一个很难的问题了。
数学可以通过证明，然后证明现在有LIN这样的FORMAL验证的方法去验证，但不得不说还是有很多的问题，其实是更多依赖于人的一种判断，甚至都并不是一种百分之百正确或不正确。
数学可以通过证明，然后证明现在有LIN这样的FORMAL验证的方法去验证，但不得不说还是有很多的问题，其实是更多依赖于人的一种判断，甚至都并不是一种百分之百正确或不正确。
这种时候我们其实是依赖一个AGENT系统去做，我们现在APPLEDEX1.0的验证的，我们管这个叫AGENTTEAM。
这种时候我们其实是依赖一个AGENT系统去做，我们现在APPLEDEX1.0的验证的，我们管这个叫AGENTTEAM。
大概呢，就是说把一个问题最开始会分解。
大概呢，就是说把一个问题最开始会分解。
然后我们会有不同的子AGENT，有的是去解决这个问题，然后我们会有另一个子AGENT单独的去验证另一个子AGENT写出来的解法。
然后我们会有不同的子AGENT，有的是去解决这个问题，然后我们会有另一个子AGENT单独的去验证另一个子AGENT写出来的解法。
之所以要分成两个子AGENT呢，还是因为上下文的问题，不要让一个AGENT干所有事情。
之所以要分成两个子AGENT呢，还是因为上下文的问题，不要让一个AGENT干所有事情。
分成两个AGENT，它其实效果会好很多，这是一个细节吧。
分成两个AGENT，它其实效果会好很多，这是一个细节吧。
对，而且一定要拆成两个AGENT。
对，而且一定要拆成两个AGENT。
同时，两个AGENT给他的指示也不太一样。
同时，两个AGENT给他的指示也不太一样。
除此之外呢，还有一些比较重要的技巧吧？
除此之外呢，还有一些比较重要的技巧吧？
我们最好是有一些冗余。
我们最好是有一些冗余。
同一个问题，你让不止一个AGENT去做，然后我们会得到不止一份答案。
同一个问题，你让不止一个AGENT去做，然后我们会得到不止一份答案。
其实这个冗余的思想在计算机里面有很长的历史了。
其实这个冗余的思想在计算机里面有很长的历史了。
但我得到不止一个答案之后呢，我们会让一个全局AGENT去判断一下哪个AGENT的反馈的答案更准确一些。
但我得到不止一个答案之后呢，我们会让一个全局AGENT去判断一下哪个AGENT的反馈的答案更准确一些。
这样会比只用一个AGENT去解一个方面的任务，会效果好很多。
这样会比只用一个AGENT去解一个方面的任务，会效果好很多。
是从AGENT的方面，我们有这些设计去做一些验证。
是从AGENT的方面，我们有这些设计去做一些验证。
那训练的时候，我们也会专门针对验证去训练一些了。
那训练的时候，我们也会专门针对验证去训练一些了。
比如说我们会让AGENT去判断一下不同信息源搜集的信息，哪些是更靠谱一些，哪些不靠谱一些。
比如说我们会让AGENT去判断一下不同信息源搜集的信息，哪些是更靠谱一些，哪些不靠谱一些。
比如说一个论坛上的可能就不如教材上得到关于同样的问题靠谱了。
比如说一个论坛上的可能就不如教材上得到关于同样的问题靠谱了。
嗯那贝宾有补充吗？
嗯那贝宾有补充吗？
另外的话我们在进行强化学习的时候我们的裁判也会在训练的过程中一起学习这样的话可以避免模型学会一些不好的行为可以避免它进行一些奖励黑客。
另外的话我们在进行强化学习的时候我们的裁判也会在训练的过程中一起学习这样的话可以避免模型学会一些不好的行为可以避免它进行一些奖励黑客。
嗯因为现在我们说市场上的很多公司啊他们可能都在做RSI然后也都在做验证那大家觉得在这么多的模型公司里面。
嗯因为现在我们说市场上的很多公司啊他们可能都在做RSI然后也都在做验证那大家觉得在这么多的模型公司里面。
该怎么去判断一个公司这块的能力是不是真的强？
该怎么去判断一个公司这块的能力是不是真的强？
它是一个技术问题，还是一个比如说我把更多的精力跟时间投入到这儿，它是一个意愿的问题呢？
它是一个技术问题，还是一个比如说我把更多的精力跟时间投入到这儿，它是一个意愿的问题呢？
我觉得两个问题都是。
我觉得两个问题都是。
首先，技术问题肯定是需要有的，因为在自我递归和自我进化的时候，如果它底层的代码、INFRA或者是训练代码有问题，技术不达标的话，这个是肯定做不成的。
首先，技术问题肯定是需要有的，因为在自我递归和自我进化的时候，如果它底层的代码、INFRA或者是训练代码有问题，技术不达标的话，这个是肯定做不成的。
另外，意愿也是很重要。
另外，意愿也是很重要。
有一些公司可能还没有意识到自我进化的一些需要强化的点在哪里。
有一些公司可能还没有意识到自我进化的一些需要强化的点在哪里。
对，真要判断一个公司的技术能力，可能还是需要去了解一些细节。
对，真要判断一个公司的技术能力，可能还是需要去了解一些细节。
自我进化这方面其实有很多种，比如说我就在HARNES这个脚手架上进行进化，然后有的是在预训练的各种配方上进行进化，有的是在后训练，包括搜集数据以及后训练的一些配方进行进化。
自我进化这方面其实有很多种，比如说我就在HARNES这个脚手架上进行进化，然后有的是在预训练的各种配方上进行进化，有的是在后训练，包括搜集数据以及后训练的一些配方进行进化。
如果真的想判断一个公司技术水平，我觉得还是要深聊一下，看看他们到底是在哪方面。
如果真的想判断一个公司技术水平，我觉得还是要深聊一下，看看他们到底是在哪方面。
据我们了解呢，说实话，在脚手架上进行进化是不成合比较低的一个原因吧？
据我们了解呢，说实话，在脚手架上进行进化是不成合比较低的一个原因吧？
确实它的成本比较低，因为你基本只用调API，你就可以自我进化这些HARNESS这些脚手架了。
确实它的成本比较低，因为你基本只用调API，你就可以自我进化这些HARNESS这些脚手架了。
所以这方面，即使开源社区包括学术界有很多的结果。
所以这方面，即使开源社区包括学术界有很多的结果。
据我了解呢，学术界包括开源社区做的也都不错。
据我了解呢，学术界包括开源社区做的也都不错。
当然公司里可能会有更多的资源，但其实这些技巧上可能细节上即使不用那么多资源，你可以做得很好。
当然公司里可能会有更多的资源，但其实这些技巧上可能细节上即使不用那么多资源，你可以做得很好。
但如果真的要涉及比如后训练这样自我进化比较难的一些方向，确实你需要很多的资源。
但如果真的要涉及比如后训练这样自我进化比较难的一些方向，确实你需要很多的资源。
跟这些公司聊的时候可以知道他们，比如说是通过什么样的方式啊去进行后训练一些进化，然后预训练这方面现在可能大家看到的都是一些AUTO RESEARCH，比如说什么？
跟这些公司聊的时候可以知道他们，比如说是通过什么样的方式啊去进行后训练一些进化，然后预训练这方面现在可能大家看到的都是一些AUTO RESEARCH，比如说什么？
自动去训练NANO GPT啊，这些确实都是一些比较玩具型的一些任务吧？
自动去训练NANO GPT啊，这些确实都是一些比较玩具型的一些任务吧？
因为它们的这个模型都比较小，然后你可能调一个更好的优化器啊、更好的超参数等等。
因为它们的这个模型都比较小，然后你可能调一个更好的优化器啊、更好的超参数等等。
这些也是最近的自进化的一些PAPER，但真正把这个能不能SCALE到产品级或真实大模型，其实是需要特别了解的。
这些也是最近的自进化的一些PAPER，但真正把这个能不能SCALE到产品级或真实大模型，其实是需要特别了解的。
如果他们光说我是在一个公开的一些AUTO RESEARCH一个BENCHMARK上，我怎么怎么样，其实这个并不是代表什么。
如果他们光说我是在一个公开的一些AUTO RESEARCH一个BENCHMARK上，我怎么怎么样，其实这个并不是代表什么。
嗯嗯，哦，讲得特别好。
嗯嗯，哦，讲得特别好。
你们现在是怎么做的？
你们现在是怎么做的？
或者说你们一个理想式的目标，未来会怎么做？
或者说你们一个理想式的目标，未来会怎么做？
然后现阶段是有哪些路径可以去达成？
然后现阶段是有哪些路径可以去达成？
对我们，其实在自我进化的时候，把它分成了不同的阶段。
对我们，其实在自我进化的时候，把它分成了不同的阶段。
我们有预训练和后训练阶段。
我们有预训练和后训练阶段。
预训练阶段的话，就是在数据的采集、清理上面会进行不同的自我进化的一些方法。
预训练阶段的话，就是在数据的采集、清理上面会进行不同的自我进化的一些方法。
在后训练里面，自我进化可能更加有效一点。
在后训练里面，自我进化可能更加有效一点。
因为我们在一个模型出来了，经过了后训练之后，我们才知道它会有一些什么样的问题。
因为我们在一个模型出来了，经过了后训练之后，我们才知道它会有一些什么样的问题。
所以我们的后训练自我进化就包括诊断自己有什么症状、哪里不达标，然后基于自己的诊断来造不同的训练的配方。
所以我们的后训练自我进化就包括诊断自己有什么症状、哪里不达标，然后基于自己的诊断来造不同的训练的配方。
第三步，拿到自己训练的数据和配方，来自己训练自己。
第三步，拿到自己训练的数据和配方，来自己训练自己。
在其中需要 verify 就是验证自己每一步做的是否正确，最后回到第一步，再诊断自己有什么缺陷。
在其中需要 verify 就是验证自己每一步做的是否正确，最后回到第一步，再诊断自己有什么缺陷。
另外在脚手架 harness 上面。
另外在脚手架 harness 上面。
我们也有一些自进化，同时在脚手架和后训练，因为它其实挺难解耦的，所以模型在后训练上进化之后，我们的脚手架也会进行一个新的进化。
我们也有一些自进化，同时在脚手架和后训练，因为它其实挺难解耦的，所以模型在后训练上进化之后，我们的脚手架也会进行一个新的进化。
你可以把它想象成两只不同的脚。
你可以把它想象成两只不同的脚。
左脚会踩一下，然后右脚会踩一下，让这个模型往前跑。
左脚会踩一下，然后右脚会踩一下，让这个模型往前跑。
我理解刚刚根据贝宾你说的就是你们所有的三种方式预训练后训练包括整个harness的环境全部会用到。
我理解刚刚根据贝宾你说的就是你们所有的三种方式预训练后训练包括整个harness的环境全部会用到。
对的因为我们公司其实就是把自我进化当做是主要的方法论所以我们在每一个方面基本上都会用到自我进化的思想。
对的因为我们公司其实就是把自我进化当做是主要的方法论所以我们在每一个方面基本上都会用到自我进化的思想。
嗯难怪你们可以把验证啊就写到你们的整个的slogan里面。
嗯难怪你们可以把验证啊就写到你们的整个的slogan里面。
对的这个我稍微补充一下吧一个是验证能力是非常重要的然后验证能力里其实一个是像代码这些你可以去formally去这种验证。
对的这个我稍微补充一下吧一个是验证能力是非常重要的然后验证能力里其实一个是像代码这些你可以去formally去这种验证。
还有很多的时候，是模型本身的。
还有很多的时候，是模型本身的。
我们管它叫原能力或者META能力，包括判断这个答案对不对、分析现在模型的问题、根据模型的一些OUTPUT。
我们管它叫原能力或者META能力，包括判断这个答案对不对、分析现在模型的问题、根据模型的一些OUTPUT。
所以这些是一些这种原的能力，这个是需要特别的去训练的。
所以这些是一些这种原的能力，这个是需要特别的去训练的。
还有一点我想强调一下，是搜索能力，尤其对于后训练是非常重要的，因为后训练绝大部分的方法吧，就是说你发现你的模型有什么缺点。
还有一点我想强调一下，是搜索能力，尤其对于后训练是非常重要的，因为后训练绝大部分的方法吧，就是说你发现你的模型有什么缺点。
假设你的模型已经可以判断出来当前这个模型有什么缺点，那么你需要去针对性的造一些任务以及对应的答案吧，去提高模型这个能力。
假设你的模型已经可以判断出来当前这个模型有什么缺点，那么你需要去针对性的造一些任务以及对应的答案吧，去提高模型这个能力。
那这个造任务其实非常依赖于搜索能力，基本上你造任务还是需要去网上搜索对应的一些不管是语料啊，还是代码呀，或者相关的资料，然后造出对应的题目。
那这个造任务其实非常依赖于搜索能力，基本上你造任务还是需要去网上搜索对应的一些不管是语料啊，还是代码呀，或者相关的资料，然后造出对应的题目。
所以 search 搜索本身是一个非常重要能力，这个也是我们为什么最开始先去做 deep research，因为 deep research 是一个非常 general 的能力吧，其中搜索可能是一个非常本质的能力，因为它就代表了当你模型需要提高哪个能力的时候，它可以指引你或找到对应的这些数据，去提高对应的能力。
所以 search 搜索本身是一个非常重要能力，这个也是我们为什么最开始先去做 deep research，因为 deep research 是一个非常 general 的能力吧，其中搜索可能是一个非常本质的能力，因为它就代表了当你模型需要提高哪个能力的时候，它可以指引你或找到对应的这些数据，去提高对应的能力。
嗯，对对对。
嗯，对对对。
然后你刚刚提到了DEEP RESEARCH，现在应该是你们现在APPLE DEX放出来的这个版本中目前最强的一块儿，对不对？
然后你刚刚提到了DEEP RESEARCH，现在应该是你们现在APPLE DEX放出来的这个版本中目前最强的一块儿，对不对？
但这应该只是第一步。
但这应该只是第一步。
是的，就像我最开始说的吧，自进化。
是的，就像我最开始说的吧，自进化。
你最开始有一个先做DEEP RESEARCH，然后相当于你可以收集目前已有的信息以及当前模型的能力，你可以制定一个计划，然后你去写CODE。
你最开始有一个先做DEEP RESEARCH，然后相当于你可以收集目前已有的信息以及当前模型的能力，你可以制定一个计划，然后你去写CODE。
去提高自己的模型，然后你得到一些反馈，再做 deep research，就可以这样 recursively 的提高。
去提高自己的模型，然后你得到一些反馈，再做 deep research，就可以这样 recursively 的提高。
所以 deep research 是一个比较重要的一环。
所以 deep research 是一个比较重要的一环。
对，然后我了解到 apdex 你们的这个模型啊，是在通义千问的基础上做后训练做出来的。
对，然后我了解到 apdex 你们的这个模型啊，是在通义千问的基础上做后训练做出来的。
simon 你要不要跟大家讲一下 deep research 它的训练范式，它有发生一些什么样的变化？
simon 你要不要跟大家讲一下 deep research 它的训练范式，它有发生一些什么样的变化？
比如说通过预训练做出来的 deep research 跟通过后训练做出来的 deep research 它有什么不一样？
比如说通过预训练做出来的 deep research 跟通过后训练做出来的 deep research 它有什么不一样？
为什么你现在会先选择后者？
为什么你现在会先选择后者？
因为，我们公司也是刚建立嘛。
因为，我们公司也是刚建立嘛。
所以我们先开始从一个开源的模型，就是千问3.5上进行后训练，得到目前的一个模型。
所以我们先开始从一个开源的模型，就是千问3.5上进行后训练，得到目前的一个模型。
后训练上我们会有一些原子能力特别的提高，比如说模型最开始做计划，这个我们会生成特别多的对应的数据去专门提高模型这样能力。
后训练上我们会有一些原子能力特别的提高，比如说模型最开始做计划，这个我们会生成特别多的对应的数据去专门提高模型这样能力。
然后另一个能力就是搜索能力。
然后另一个能力就是搜索能力。
搜索能力也是我们造了很多对应的题目，针对性地去提高模型的这些能力。
搜索能力也是我们造了很多对应的题目，针对性地去提高模型的这些能力。
还有就是说跟AGENT TEAM结合，我们去造了一些题目，这是就像被宾说的左脚踩右脚这样一种感觉。
还有就是说跟AGENT TEAM结合，我们去造了一些题目，这是就像被宾说的左脚踩右脚这样一种感觉。
我们需要AGENT TEAM和数据一起开发，然后达到最后的效果。
我们需要AGENT TEAM和数据一起开发，然后达到最后的效果。
这是我们主要后训练做的事情吧？
这是我们主要后训练做的事情吧？
当然有了预训练之后，我们这个模型会越来越强，然后预训练我们也是正在开发之中。
当然有了预训练之后，我们这个模型会越来越强，然后预训练我们也是正在开发之中。
嗯嗯，之后也会从预训练的角度去做deep research，包括去训模型。
嗯嗯，之后也会从预训练的角度去做deep research，包括去训模型。
是的，我们公司最后会有一个完整的链路，就是从预训练开始到最后成品到产品都会有的。
是的，我们公司最后会有一个完整的链路，就是从预训练开始到最后成品到产品都会有的。
哦ok，我注意到你们现在是在好几个deep research的榜单上都拿了第一名对吧？
哦ok，我注意到你们现在是在好几个deep research的榜单上都拿了第一名对吧？
啊是的。
啊是的。
嗯要不要讲一下？
嗯要不要讲一下？
对这些包括crosscomps，这是open eye的一个benchmark，然后还有deepsearchqa、frontier science，这些都是这些frontier lab出的benchmark吧。
对这些包括crosscomps，这是open eye的一个benchmark，然后还有deepsearchqa、frontier science，这些都是这些frontier lab出的benchmark吧。
Broscom 其实它更关注的就是搜索能力，它就搜索特别刁钻的一些问题。
Broscom 其实它更关注的就是搜索能力，它就搜索特别刁钻的一些问题。
比如说我要搜索一本书，它是几几年之前出的，它的首字母是什么，zy 啊，大概这样的一些问题。
比如说我要搜索一本书，它是几几年之前出的，它的首字母是什么，zy 啊，大概这样的一些问题。
这方面我们是 sota。
这方面我们是 sota。
对，sota 就是最高水准的意思。
对，sota 就是最高水准的意思。
就是比包括闭源模型都要好一些。
就是比包括闭源模型都要好一些。
frontier science 呢，更多的是给你一个实际中的科研问题，你能不能制定一个计划，然后一步一步的该怎么做，大概是这样一类的问题。
frontier science 呢，更多的是给你一个实际中的科研问题，你能不能制定一个计划，然后一步一步的该怎么做，大概是这样一类的问题。
这个它会用一个 lm as a judge 去判断一下你这个合理不合理。
这个它会用一个 lm as a judge 去判断一下你这个合理不合理。
当然它的原来的 benchmark 里。
当然它的原来的 benchmark 里。
有很多具体的判别标准，去看你生成的合理不合理。
有很多具体的判别标准，去看你生成的合理不合理。
这两方面我们都是说深入了研究，而且造出了对应的题目吧，去提高我们模型的能力。
这两方面我们都是说深入了研究，而且造出了对应的题目吧，去提高我们模型的能力。
然后还有一方面就是我们之前讨论过的AGENT TEAM整个的范式，包括VERIFICATION这个验证啊，还有最后有一些冗余，然后如果通过更多的冗余去判断，达到一个更全局的结果。
然后还有一方面就是我们之前讨论过的AGENT TEAM整个的范式，包括VERIFICATION这个验证啊，还有最后有一些冗余，然后如果通过更多的冗余去判断，达到一个更全局的结果。
去做生成一个答案，这整个的系统是让我们拿到了搜它的水平。
去做生成一个答案，这整个的系统是让我们拿到了搜它的水平。
然后我看见像这种一般是能上网的模型啊，它有的时候它那个答案不是AI推理出来的，可能是因为它是搜索到了，然后它就会有一些失真。
然后我看见像这种一般是能上网的模型啊，它有的时候它那个答案不是AI推理出来的，可能是因为它是搜索到了，然后它就会有一些失真。
所以我注意到你们自己在做评测的时候，还是专门把这种能搜到答案的网站给屏蔽了是吧？
所以我注意到你们自己在做评测的时候，还是专门把这种能搜到答案的网站给屏蔽了是吧？
自己去做的。
自己去做的。
是的，这还是一个现在尤其搜索类问题的一个GENERAL的问题。
是的，这还是一个现在尤其搜索类问题的一个GENERAL的问题。
因为这个BENCHMARK只要它公开了，那么它的答案就是大家也知道，你可能直接在GITHUB上新生成一个页面，上面把答案放上面，那我新的一个模型直接就可以搜到这个答案，那我就算做对了。
因为这个BENCHMARK只要它公开了，那么它的答案就是大家也知道，你可能直接在GITHUB上新生成一个页面，上面把答案放上面，那我新的一个模型直接就可以搜到这个答案，那我就算做对了。
但这样并不是真正这个BENCHMARK的目的，这个BENCHMARK目的还是比如说去考验你一个叫深度搜索的这样的一个能力。
但这样并不是真正这个BENCHMARK的目的，这个BENCHMARK目的还是比如说去考验你一个叫深度搜索的这样的一个能力。
所以我们一般还是会看一下我们自己生成的答案是不是进行了一些作弊的行为，如果有这种作弊行为，我们会把比如说GitHub屏蔽掉。
所以我们一般还是会看一下我们自己生成的答案是不是进行了一些作弊的行为，如果有这种作弊行为，我们会把比如说GitHub屏蔽掉。
但有些榜单其实已经污染得比较厉害了，干脆后来也就不报了。
但有些榜单其实已经污染得比较厉害了，干脆后来也就不报了。
嗯嗯，对。
嗯嗯，对。
然后我注意到你们在这个Deep Research的后训练环节啊，就是其实你们相当于是用一个整个的Agent的团队去替代单个Agent的验证的。
然后我注意到你们在这个Deep Research的后训练环节啊，就是其实你们相当于是用一个整个的Agent的团队去替代单个Agent的验证的。
然后呢，你一个比如说复杂的任务，你能调动上百个子的AGENT。
然后呢，你一个比如说复杂的任务，你能调动上百个子的AGENT。
你会认为是一个聪明的AI反而干不过一个会相互CHECK的团队吗？
你会认为是一个聪明的AI反而干不过一个会相互CHECK的团队吗？
嗯，对我非常相信这一点吧，因为这是目前我认为是基于SELF ATTENTION结构的一个本质问题。
嗯，对我非常相信这一点吧，因为这是目前我认为是基于SELF ATTENTION结构的一个本质问题。
而且我认为即使你用LINEAR ATTENTION这样一些新的结构，我应该也解决不了超长上下文这样的问题。
而且我认为即使你用LINEAR ATTENTION这样一些新的结构，我应该也解决不了超长上下文这样的问题。
上下文越长，ATTENTION的注意力它这个效果就越差。
上下文越长，ATTENTION的注意力它这个效果就越差。
所以你单个模型至少在目前的技术范式下，它还是有上限的。
所以你单个模型至少在目前的技术范式下，它还是有上限的。
当然这个跟人类也很像嘛，就是说人的脑子它还是有限的，所以你才需要纸笔啊，把一些信息记录下来，然后之后你再调用它嘛。
当然这个跟人类也很像嘛，就是说人的脑子它还是有限的，所以你才需要纸笔啊，把一些信息记录下来，然后之后你再调用它嘛。
至少在近期，我其实不太相信用一个AGENT能解决特别特别特别长的上下文的问题。
至少在近期，我其实不太相信用一个AGENT能解决特别特别特别长的上下文的问题。
所以这种时候你就需要多个AGENT以及记忆力机制。
所以这种时候你就需要多个AGENT以及记忆力机制。
比如多个agent去解决不同的问题，包括记忆机制把这些信息保存起来互相分享，整个的一个系统去解决一些超长程的问题。
比如多个agent去解决不同的问题，包括记忆机制把这些信息保存起来互相分享，整个的一个系统去解决一些超长程的问题。
嗯所以你觉得现在啊我们说到deep research它的能力的话，它的工程能力跟模型能力谁更重要呢？
嗯所以你觉得现在啊我们说到deep research它的能力的话，它的工程能力跟模型能力谁更重要呢？
我认为这两个属于一加一大于二的一个结果吧，你当然可以一直去强化模型能力。
我认为这两个属于一加一大于二的一个结果吧，你当然可以一直去强化模型能力。
而且模型能力，我认为现在还是可以继续提高的。
而且模型能力，我认为现在还是可以继续提高的。
但是当模型能力达到一定程度的时候，你稍微做一些AGENT上面的优化，你可能就一下子大幅提高这个能力。
但是当模型能力达到一定程度的时候，你稍微做一些AGENT上面的优化，你可能就一下子大幅提高这个能力。
当然你AGENT这工程它总是有限的，或者说AGENTHARDNESS交涉架上的提高总是有限的，然后这个时候你还是需要一些模型能力的本质提高，进一步提高DEEP RESEARCH或GENERAL整个这个系统的能力吧。
当然你AGENT这工程它总是有限的，或者说AGENTHARDNESS交涉架上的提高总是有限的，然后这个时候你还是需要一些模型能力的本质提高，进一步提高DEEP RESEARCH或GENERAL整个这个系统的能力吧。
所以我觉得这两个基本上是一个一加一大于二的一个感觉。
所以我觉得这两个基本上是一个一加一大于二的一个感觉。
对，我虽然知道你们主要是在做模型的。
对，我虽然知道你们主要是在做模型的。
但是想替创业者问一个问题：我们说之前大家在创业的时候最担心的一个问题，就是说你的模型的基础能力一升级，基本上所有这些干AGENT的、干垂直方向领域的，它的能力很快就会被这个模型的基础能力给覆盖掉。
但是想替创业者问一个问题：我们说之前大家在创业的时候最担心的一个问题，就是说你的模型的基础能力一升级，基本上所有这些干AGENT的、干垂直方向领域的，它的能力很快就会被这个模型的基础能力给覆盖掉。
那如果按照我们刚刚讲的一个聪明的AI，由于ATTENTION的TRANSFORMER的整个架构上的一些限制，它反而干不过一个相互CHECK的能力。
那如果按照我们刚刚讲的一个聪明的AI，由于ATTENTION的TRANSFORMER的整个架构上的一些限制，它反而干不过一个相互CHECK的能力。
是不是说，现在一个能把工程能力做到极致，把很多个子AGENT它用得非常好的团队，它也具备自己一个非常深的护城河，不太容易被模型智力的提升给覆盖掉？
是不是说，现在一个能把工程能力做到极致，把很多个子AGENT它用得非常好的团队，它也具备自己一个非常深的护城河，不太容易被模型智力的提升给覆盖掉？
我基本上是同意这一点的。
我基本上是同意这一点的。
AGENT的系统本身我们也是经过大量实验才验证出来的，我们这个目前的系统是比较合理的，而且是效果很好的。
AGENT的系统本身我们也是经过大量实验才验证出来的，我们这个目前的系统是比较合理的，而且是效果很好的。
如果一个创业团队真的是证明了自己在用整个AGENT的系统，达到了一个非常好的效果，那肯定他们之前也是做了大量的实验去验证这个确实是非常WORK的。
如果一个创业团队真的是证明了自己在用整个AGENT的系统，达到了一个非常好的效果，那肯定他们之前也是做了大量的实验去验证这个确实是非常WORK的。
但是呢，怎么说这个领域相对也比较卷吧？
但是呢，怎么说这个领域相对也比较卷吧？
能做这种实验的团队可能也不少，因为这个并不说训练一个模型确实还是需要很多资源，但是去调或者做AGENT相关的实验，还是相对来说需要的资源少一些，你基本上只要调API就可以了。
能做这种实验的团队可能也不少，因为这个并不说训练一个模型确实还是需要很多资源，但是去调或者做AGENT相关的实验，还是相对来说需要的资源少一些，你基本上只要调API就可以了。
当然有些垂直领域其实你可以越做越深了，包括金融、法律啊，确实还有些具体领域的知识经验其实还是挺有意义的。
当然有些垂直领域其实你可以越做越深了，包括金融、法律啊，确实还有些具体领域的知识经验其实还是挺有意义的。
对，贝宾有补充的吗？
对，贝宾有补充的吗？
往后退一步想的话，如果一个模型或者说一个single agent单智能体能做得很好，那如果我们把它harness设计得更好的话，来多个智能体一起合作，那可以把这个问题做得更深更好。
往后退一步想的话，如果一个模型或者说一个single agent单智能体能做得很好，那如果我们把它harness设计得更好的话，来多个智能体一起合作，那可以把这个问题做得更深更好。
所以我觉得在垂直领域做这种agent teams或者是做脚手架的公司。
所以我觉得在垂直领域做这种agent teams或者是做脚手架的公司。
未来肯定还是有发展的而且是有非常多的机会的。
未来肯定还是有发展的而且是有非常多的机会的。
就是有一点要注意因为现在模型的发布非常的快可能每个月都会有一两个比较强大的模型出来。
就是有一点要注意因为现在模型的发布非常的快可能每个月都会有一两个比较强大的模型出来。
所以有了新的模型可能这个脚手架的设计也要微调一下因为新的模型会有新的一些能力有自己的一些品味模型自己的一些行为都会不太一样所以这个脚手架调一调可能会做的比以前还要好。
所以有了新的模型可能这个脚手架的设计也要微调一下因为新的模型会有新的一些能力有自己的一些品味模型自己的一些行为都会不太一样所以这个脚手架调一调可能会做的比以前还要好。
这个也是我们在之前做自我进化的时候发现的为什么在后训练以及在做这个脚手架的时候很难解耦。
这个也是我们在之前做自我进化的时候发现的为什么在后训练以及在做这个脚手架的时候很难解耦。
如果你的模型能力或者是说训练数据稍微变一下的话那它对新的脚手架的适应能力可能也会有一些微微的改变你可能可以设计出更好的1+1>2的效果或者是说模型变强了你的脚手架变得也很强然后放在一起可以打出一个爆炸性的效果。
如果你的模型能力或者是说训练数据稍微变一下的话那它对新的脚手架的适应能力可能也会有一些微微的改变你可能可以设计出更好的1+1>2的效果或者是说模型变强了你的脚手架变得也很强然后放在一起可以打出一个爆炸性的效果。
哦听起来现在还是一个行业很卷很辛苦要时刻跟着模型迭代去更新自己架构的这样的一个行业。
哦听起来现在还是一个行业很卷很辛苦要时刻跟着模型迭代去更新自己架构的这样的一个行业。
对的我同意AI行业一周可能相当于传统行业一个月甚至一个季度。
对的我同意AI行业一周可能相当于传统行业一个月甚至一个季度。
嗯那接下来就可能是聊到我最兴奋的一个板块了就是APPLEX它是要做DISCOVERY MODEL的SIMON你要不要跟大家先介绍一下整个APPLEX它是一个什么样的模型它其实是大家很关注的陈天桥先生创建的。
嗯那接下来就可能是聊到我最兴奋的一个板块了就是APPLEX它是要做DISCOVERY MODEL的SIMON你要不要跟大家先介绍一下整个APPLEX它是一个什么样的模型它其实是大家很关注的陈天桥先生创建的。
他是说自己要去做一个让AI做发现、做科学这样的一个模型。
他是说自己要去做一个让AI做发现、做科学这样的一个模型。
对我们的长期愿景是heavy duty server，然后我们强调的是解决很难的问题，而不是比如说一个聊天机器人这样的大模型初期的一些应用。
对我们的长期愿景是heavy duty server，然后我们强调的是解决很难的问题，而不是比如说一个聊天机器人这样的大模型初期的一些应用。
然后我们的手段呢，是通过自我进化，这是我们一直在强调的。
然后我们的手段呢，是通过自我进化，这是我们一直在强调的。
我们相信大模型最终是能解决人类之前解决不了的这些问题。
我们相信大模型最终是能解决人类之前解决不了的这些问题。
从经济的角度来说呢，现在大部分的模型厂商都是在卖TOKEN，对吧？
从经济的角度来说呢，现在大部分的模型厂商都是在卖TOKEN，对吧？
但我们相信呢，真正通过大模型去解决了一些人类没有解决的问题，那么解决问题本身所创造的价值应该是远大于卖TOKEN的价值。
但我们相信呢，真正通过大模型去解决了一些人类没有解决的问题，那么解决问题本身所创造的价值应该是远大于卖TOKEN的价值。
所以我们陈天桥、陈总这边的目标呢，就是说我们直接去解决最难的问题。
所以我们陈天桥、陈总这边的目标呢，就是说我们直接去解决最难的问题。
从经济上来说，我们可以得到直接解决最终问题的这个价值。
从经济上来说，我们可以得到直接解决最终问题的这个价值。
从问题角度来说呢，现在考虑的领域包括生物啊、材料科学等等。
从问题角度来说呢，现在考虑的领域包括生物啊、材料科学等等。
然后我们这边也有一个专门的团队，我们叫HEAVY DUTY DISCOVERY，就是专门去找到最难的问题的一个团队。
然后我们这边也有一个专门的团队，我们叫HEAVY DUTY DISCOVERY，就是专门去找到最难的问题的一个团队。
然后我们会针对性地，比如说进行模型训练啊等等，去解决那些最难的问题。
然后我们会针对性地，比如说进行模型训练啊等等，去解决那些最难的问题。
嗯，比如说你刚刚提到的，你们内部有一个heavy duty discovery的团队啊。
嗯，比如说你刚刚提到的，你们内部有一个heavy duty discovery的团队啊。
他们现在具体是在找哪些问题啊？
他们现在具体是在找哪些问题啊？
就现在你们第一步想要切的是生物医药领域，对吗？
就现在你们第一步想要切的是生物医药领域，对吗？
是的，是的。
是的，是的。
第一步是生物医疗吧，包括制药、靶点发现呀、老药新用，也包括疾病诊断。
第一步是生物医疗吧，包括制药、靶点发现呀、老药新用，也包括疾病诊断。
很多问题确实是非常具体领域的问题，所以我们需要一个专门的团队去找到什么样的问题是合适去解决的。
很多问题确实是非常具体领域的问题，所以我们需要一个专门的团队去找到什么样的问题是合适去解决的。
展开剩余字幕（还有 319 条）
嗯，那很期待你们的下一步啊。
嗯，那很期待你们的下一步啊。
然后那我觉得我们可以说一下，让这个模型解决问题。
然后那我觉得我们可以说一下，让这个模型解决问题。
然后我发现其实你们也给自己的定位说，你们要做的是DISCOVERY MODEL，而不是GENERATIVE MODEL。
然后我发现其实你们也给自己的定位说，你们要做的是DISCOVERY MODEL，而不是GENERATIVE MODEL。
中文说就是你们要做的是发现的模型，而不是生成模型。
中文说就是你们要做的是发现的模型，而不是生成模型。
那贝宾，你要不要跟大家解释一下这两个模型它在根本上的区别是什么？
那贝宾，你要不要跟大家解释一下这两个模型它在根本上的区别是什么？
对，让模型提出一个假设，其实并不是特别难的。
对，让模型提出一个假设，其实并不是特别难的。
但是难的就是提出的这个假设特别的OUT OF DISTRIBUTION，就是可能在PRE TRAINING DATA在网上比较难找到，或者说比较难想到的一个假设。
但是难的就是提出的这个假设特别的OUT OF DISTRIBUTION，就是可能在PRE TRAINING DATA在网上比较难找到，或者说比较难想到的一个假设。
这是第一。
这是第一。
第二个更大的难点是说我们要怎么样验证这个假设？
第二个更大的难点是说我们要怎么样验证这个假设？
当然这个跟怎么样做VERIFICATION、怎么样自我验证也是强相关的一个部分。
当然这个跟怎么样做VERIFICATION、怎么样自我验证也是强相关的一个部分。
所以如果我们把DISCOVERY切细来看的话，第一需要非常的有创新性，能提出新的假设。
所以如果我们把DISCOVERY切细来看的话，第一需要非常的有创新性，能提出新的假设。
第二，需要能判断这个假设成不成立。
第二，需要能判断这个假设成不成立。
当然这里也有很多不同的方法可以做，就比如说可以用 deep research 的方法收集已有的信息，找更好的假设。
当然这里也有很多不同的方法可以做，就比如说可以用 deep research 的方法收集已有的信息，找更好的假设。
也有可以用写代码或者是 self verification 的这些方法来跑一些实验。
也有可以用写代码或者是 self verification 的这些方法来跑一些实验。
如果我们能在计算机上跑一些，比如说模拟的话，也可以让我们对这个提出的新假设更加的有信心。
如果我们能在计算机上跑一些，比如说模拟的话，也可以让我们对这个提出的新假设更加的有信心。
所以 discovery 的瓶颈第一就是未知领域其实很难有标准答案，也很难造这种 simulation environment。
所以 discovery 的瓶颈第一就是未知领域其实很难有标准答案，也很难造这种 simulation environment。
得到可信的验证。
得到可信的验证。
所以SELF EVOLUTION是我们通向HEAVY DUTY SOVER和DISCOVERY的一个主要方法。
所以SELF EVOLUTION是我们通向HEAVY DUTY SOVER和DISCOVERY的一个主要方法。
对，我们在说到DISCOVERY MODEL的时候啊，刚刚你提到了我们要做很多假设，然后要去求证。
对，我们在说到DISCOVERY MODEL的时候啊，刚刚你提到了我们要做很多假设，然后要去求证。
其实这让我想到了科学领域最基础的一个方法，就是八个字儿嘛：大胆假设，小心求证。
其实这让我想到了科学领域最基础的一个方法，就是八个字儿嘛：大胆假设，小心求证。
我觉得这其实也是我自己啊，开始做记者、做报道的时候一直在贯彻的一个价值观，就是要大胆假设，提出傻的问题。
我觉得这其实也是我自己啊，开始做记者、做报道的时候一直在贯彻的一个价值观，就是要大胆假设，提出傻的问题。
然后再去求证思路跟这个问题是不是对的。
然后再去求证思路跟这个问题是不是对的。
但是同时，如果我们把这个交给模型的话，大家以前一直对这个模型的印象就是说，一个模型它能从网上、从人类现有的知识库里面找到已知知识的答案就已经很不错了。
但是同时，如果我们把这个交给模型的话，大家以前一直对这个模型的印象就是说，一个模型它能从网上、从人类现有的知识库里面找到已知知识的答案就已经很不错了。
那现在模型的智力怎么样才能够让它做到理解贯穿人类的知识，同时还能提出问题？
那现在模型的智力怎么样才能够让它做到理解贯穿人类的知识，同时还能提出问题？
因为我觉得这个已经不是说在让AI去做一个解题者了，这个更像是让AI去做一个科学家。
因为我觉得这个已经不是说在让AI去做一个解题者了，这个更像是让AI去做一个科学家。
他能够提出问题、发现问题，这个是很难的。
他能够提出问题、发现问题，这个是很难的。
对你刚刚提到的这些，其实是现在的一个难点。
对你刚刚提到的这些，其实是现在的一个难点。
因为怎么样训练一个GENERATIVE MODEL？
因为怎么样训练一个GENERATIVE MODEL？
其实市面上已经有非常多的可行性方法，相关的RECIPE和训练配方其实也是特别成熟的。
其实市面上已经有非常多的可行性方法，相关的RECIPE和训练配方其实也是特别成熟的。
但是如何让这个模型进行一些假设和DISCOVERY，这个其实是大家还在调，没有完全调通的一件事情。
但是如何让这个模型进行一些假设和DISCOVERY，这个其实是大家还在调，没有完全调通的一件事情。
回到刚刚你说的一点，怎么样像科学家一样在未知中提出问题？
回到刚刚你说的一点，怎么样像科学家一样在未知中提出问题？
这里也可以再往下切细一点。
这里也可以再往下切细一点。
比如说在写代码这个领域，比如说SWEEVERIFIED这种类型的题目，其实我们都是在训练模型怎么样做一个解题家。
比如说在写代码这个领域，比如说SWEEVERIFIED这种类型的题目，其实我们都是在训练模型怎么样做一个解题家。
但是会提问，其实是一个我们叫做的META能力，更高维的一个能力。
但是会提问，其实是一个我们叫做的META能力，更高维的一个能力。
这个其实也涉及到了我刚刚说后训练的一个LOOP，就是要自我诊断，然后再自我造题，然后再自我训练。
这个其实也涉及到了我刚刚说后训练的一个LOOP，就是要自我诊断，然后再自我造题，然后再自我训练。
你要怎么样在这个模型现在的回答里面，或者是所有的收集的这些信息里面，怎么样诊断出哪里的能力有问题，或者是哪里的HYPOTHESIS需要往深入更看一下的话？
你要怎么样在这个模型现在的回答里面，或者是所有的收集的这些信息里面，怎么样诊断出哪里的能力有问题，或者是哪里的HYPOTHESIS需要往深入更看一下的话？
这个是我们接下来会注重的一个领域和方向。
这个是我们接下来会注重的一个领域和方向。
对，在学术界大家都知道有好的PAPER跟灌水PAPER，其实我们也想培养模型变成一个真正的好的科学家。
对，在学术界大家都知道有好的PAPER跟灌水PAPER，其实我们也想培养模型变成一个真正的好的科学家。
那么你就需要培养一个非常好的TASTE，就是学术品味吧。
那么你就需要培养一个非常好的TASTE，就是学术品味吧。
你提出一个新的问题，肯定是需要先做DEEP RESEARCH，找到已有的知识。
你提出一个新的问题，肯定是需要先做DEEP RESEARCH，找到已有的知识。
但你提出什么样的问题，其实是仁者见仁、智者见智的啊。
但你提出什么样的问题，其实是仁者见仁、智者见智的啊。
你可以提出一个比较我们叫INCREMENTAL的问题，它可能比较容易，但是你可以发一个FAVOR；但你也可以提一个比较本质的FUNDAMENTAL的问题，它可能不是那么解决，但解决了它。
你可以提出一个比较我们叫INCREMENTAL的问题，它可能比较容易，但是你可以发一个FAVOR；但你也可以提一个比较本质的FUNDAMENTAL的问题，它可能不是那么解决，但解决了它。
真的是能让科学有所突破。
真的是能让科学有所突破。
所以这个也是我们之后会进一步训练模型，就是说让它有更好的学术品味。
所以这个也是我们之后会进一步训练模型，就是说让它有更好的学术品味。
其实训练方法上可能还是需要跟人类最顶级的科学家去对齐这些。
其实训练方法上可能还是需要跟人类最顶级的科学家去对齐这些。
陈天桥、陈总这边其实也是经常会让我们和一些顶级的科学家一起去讨论，甚至他们提供一些INSIGHT或者数据等等，去帮助我们模型有更好的品味。
陈天桥、陈总这边其实也是经常会让我们和一些顶级的科学家一起去讨论，甚至他们提供一些INSIGHT或者数据等等，去帮助我们模型有更好的品味。
我觉得其实两位也是顶级的科学家，顶级的科学家。
我觉得其实两位也是顶级的科学家，顶级的科学家。
大家觉得他们有什么样的共性？
大家觉得他们有什么样的共性？
比如说我们从他们身上学到的特质，怎么把它转换成一种计算的方法，或者说是跟AI交互的方法，这块儿大家有什么样的思考吗？
比如说我们从他们身上学到的特质，怎么把它转换成一种计算的方法，或者说是跟AI交互的方法，这块儿大家有什么样的思考吗？
我们一般说什么样的是一个顶级科学家，一般不是看他有多少篇PAPER。
我们一般说什么样的是一个顶级科学家，一般不是看他有多少篇PAPER。
一般是看它最好的PAPER质量有多高，所以我们一定要追求顶点嘛。
一般是看它最好的PAPER质量有多高，所以我们一定要追求顶点嘛。
解答这些最本质的问题，所以这个甚至要写在模型宪法里。
解答这些最本质的问题，所以这个甚至要写在模型宪法里。
然后具体实操上、训练方法上可能还是目前已有的一些吧，比如说ROHF这种人类偏好SFT监督学习啊，或者RL这里可能一个最简单的方法，当然就是偏好了，比如说你问一个科学家两道题。
然后具体实操上、训练方法上可能还是目前已有的一些吧，比如说ROHF这种人类偏好SFT监督学习啊，或者RL这里可能一个最简单的方法，当然就是偏好了，比如说你问一个科学家两道题。
它一般是能判断出来哪个是一个灌水题，哪个不是一个灌水题。
它一般是能判断出来哪个是一个灌水题，哪个不是一个灌水题。
然后你应该让模型去多提一提非灌水题。
然后你应该让模型去多提一提非灌水题。
AI现在能判断哪个是灌水题，哪个是非灌水题吗？
AI现在能判断哪个是灌水题，哪个是非灌水题吗？
只要经过这方面的训练，我觉得还是没什么问题的。
只要经过这方面的训练，我觉得还是没什么问题的。
嗯，被逼你觉得在跟一些顶级科学家交互的过程中，你有学到什么？
嗯，被逼你觉得在跟一些顶级科学家交互的过程中，你有学到什么？
以及你觉得这些思想怎么可以用到模型的训练中去？
以及你觉得这些思想怎么可以用到模型的训练中去？
对。
对。
我想来想去，可能还是品味这个字。
我想来想去，可能还是品味这个字。
其实AI马上就能进行自我进化了，我对这一点非常的坚信不疑。
其实AI马上就能进行自我进化了，我对这一点非常的坚信不疑。
要么是接下来半年，要么是一年，反正在接下来两三年内，肯定自我进化就会成功了。
要么是接下来半年，要么是一年，反正在接下来两三年内，肯定自我进化就会成功了。
那在那个时候，我们还需要顶级的AI科学家干嘛呢？
那在那个时候，我们还需要顶级的AI科学家干嘛呢？
或者是说我们还需要人类干嘛呢？
或者是说我们还需要人类干嘛呢？
然后想来想去，就是品味这个字。
然后想来想去，就是品味这个字。
因为训练这些不同的模型的时候，我发现了这个品味是真的。
因为训练这些不同的模型的时候，我发现了这个品味是真的。
同样，读完一篇PAPER之后，你可以想到一个非常小的改进，或者你可以想到一个SUBSTANTIAL IMPROVEMENT，就是一个非常长的、非常大的假设，但是要干非常多的活，要迈非常大的步子才能解决的问题。
同样，读完一篇PAPER之后，你可以想到一个非常小的改进，或者你可以想到一个SUBSTANTIAL IMPROVEMENT，就是一个非常长的、非常大的假设，但是要干非常多的活，要迈非常大的步子才能解决的问题。
这是一个非常好的例子。
这是一个非常好的例子。
其实我现在觉得，即使是市面上最好的模型，它的品位其实也是远低于一个普通的AI科学家的。
其实我现在觉得，即使是市面上最好的模型，它的品位其实也是远低于一个普通的AI科学家的。
这也是为什么现在AI写代码写得很好，但是还是不能把模型的训练全部自动化进行起来。
这也是为什么现在AI写代码写得很好，但是还是不能把模型的训练全部自动化进行起来。
所以我觉得接下来不管是作为一个人类AI顶尖的科学家，还是说作为一个RESEARCHER、一个ENGINEER，在训练这个模型都是需要把控模型的品位的。
所以我觉得接下来不管是作为一个人类AI顶尖的科学家，还是说作为一个RESEARCHER、一个ENGINEER，在训练这个模型都是需要把控模型的品位的。
这个其实是非常难的一件事情，因为如果大家用过很多不同种类的模型，大家会发现。
这个其实是非常难的一件事情，因为如果大家用过很多不同种类的模型，大家会发现。
所有模型其实有一些通病吧，就是他们或多或少都挺喜欢拍马屁的。
所有模型其实有一些通病吧，就是他们或多或少都挺喜欢拍马屁的。
一个喜欢拍马屁的模型，其实很难提出一个大胆的假设。
一个喜欢拍马屁的模型，其实很难提出一个大胆的假设。
另外除了拍马屁这个缺点之外，它其实还是有一点我们叫做 hedging behavior 或者是一些对冲的行为。
另外除了拍马屁这个缺点之外，它其实还是有一点我们叫做 hedging behavior 或者是一些对冲的行为。
就说这也对，那也对，对，用户你说的非常对，刚刚是我的疏忽。
就说这也对，那也对，对，用户你说的非常对，刚刚是我的疏忽。
但是我说的也没有错，你说的更全面。
但是我说的也没有错，你说的更全面。
你想要问其他的问题吗？
你想要问其他的问题吗？
就我们可以看到，这些 ai 模型经常会用这样的方法来回答用户问题。
就我们可以看到，这些 ai 模型经常会用这样的方法来回答用户问题。
所以我们在训练，不管是说 verifier 还是 self-evolve 还是 discovery 的时候，都会对模型的提出假设的能力进行一个后训练。
所以我们在训练，不管是说 verifier 还是 self-evolve 还是 discovery 的时候，都会对模型的提出假设的能力进行一个后训练。
就比如说这个 diagnose 里面。
就比如说这个 diagnose 里面。
但是这也是有另外一个缺点，就是我们怎么样能保证我们训练的新的模型不会出现鸡蛋里挑骨头的那种行为呢？
但是这也是有另外一个缺点，就是我们怎么样能保证我们训练的新的模型不会出现鸡蛋里挑骨头的那种行为呢？
这就是要品味来平衡，就是模型不要拍马屁，也不要鸡蛋里挑骨头，能真的是实打实的提出一个非常好的假设，然后再像您说的，就是小心验证，把它验证出来这个假设。
这就是要品味来平衡，就是模型不要拍马屁，也不要鸡蛋里挑骨头，能真的是实打实的提出一个非常好的假设，然后再像您说的，就是小心验证，把它验证出来这个假设。
嗯，你刚刚提到了模型拍马屁啊，就是用户说什么它什么就是对的。
嗯，你刚刚提到了模型拍马屁啊，就是用户说什么它什么就是对的。
我确实发现我在用很多模型的过程中，这是我觉得最痛苦的一部分，就是它不会给你一个事实性的答案，它给你的永远是迎合你的那个答案。
我确实发现我在用很多模型的过程中，这是我觉得最痛苦的一部分，就是它不会给你一个事实性的答案，它给你的永远是迎合你的那个答案。
这块儿是不是跟在训练模型的时候，把这个模型的参数往哪边调，然后给它注入什么样的人格特质是有一定关系的？
这块儿是不是跟在训练模型的时候，把这个模型的参数往哪边调，然后给它注入什么样的人格特质是有一定关系的？
而且每一家模型其实我觉得大家的风格细微上都会有一些不一样。
而且每一家模型其实我觉得大家的风格细微上都会有一些不一样。
对，当然这个我们APPLE DEX因为不做聊天模型，所以可能会稍微好一点，就是因为我们不管是哪家公司在后训练的时候，或多或少的会有一个ROHF的一个阶段。
对，当然这个我们APPLE DEX因为不做聊天模型，所以可能会稍微好一点，就是因为我们不管是哪家公司在后训练的时候，或多或少的会有一个ROHF的一个阶段。
这个ROHF它的来源数据基本上是用户投票的数据。
这个ROHF它的来源数据基本上是用户投票的数据。
就有点类似于OMC SORINA那种形式，也有可能是模型训练公司自己让员工去标的一个PREFERENCE偏好数据。
就有点类似于OMC SORINA那种形式，也有可能是模型训练公司自己让员工去标的一个PREFERENCE偏好数据。
人不是完美的嘛，所以人类作为本身就会可能有特殊的偏好，比如说偏好说好话、拍马屁的模型答案可能偏好写的非常长的答案，可能偏好格式上非常的结构化，像有非常多SECTION、非常多LIST的一个MARKDOWN的格式。
人不是完美的嘛，所以人类作为本身就会可能有特殊的偏好，比如说偏好说好话、拍马屁的模型答案可能偏好写的非常长的答案，可能偏好格式上非常的结构化，像有非常多SECTION、非常多LIST的一个MARKDOWN的格式。
即使这个MARK DOWN它本身没有什么实际的意义，就是因为这种人为的一些BIAS才会让这个模型有不同的拍马屁的行为。
即使这个MARK DOWN它本身没有什么实际的意义，就是因为这种人为的一些BIAS才会让这个模型有不同的拍马屁的行为。
APPLE DEX因为想做HEAVY DUTY的SOVER，所以我们不会用网上大众的这些人类的偏好来训练这个模型，所以可以或多或少的避免些许这样的问题。
APPLE DEX因为想做HEAVY DUTY的SOVER，所以我们不会用网上大众的这些人类的偏好来训练这个模型，所以可以或多或少的避免些许这样的问题。
未来我们在训练这个模型的时候，肯定是想要最顶尖的人类来标这些PREFERENCE数据，或者是说给不同的模型答案打分，确保公正公平。
未来我们在训练这个模型的时候，肯定是想要最顶尖的人类来标这些PREFERENCE数据，或者是说给不同的模型答案打分，确保公正公平。
也可以从数据源头稍微解决这些问题。
也可以从数据源头稍微解决这些问题。
哦，我觉得这几个方向都还挺重要的。
哦，我觉得这几个方向都还挺重要的。
然后你刚刚提到了既不要拍马屁的模型，也不要鸡蛋里面挑骨头的模型。
然后你刚刚提到了既不要拍马屁的模型，也不要鸡蛋里面挑骨头的模型。
可能不做拍马屁，因为你们不做TO C的用户端啊，这个对你们来说是稍微简单一点的。
可能不做拍马屁，因为你们不做TO C的用户端啊，这个对你们来说是稍微简单一点的。
不做鸡蛋里面挑骨头这一块儿，你会有经验吗？
不做鸡蛋里面挑骨头这一块儿，你会有经验吗？
以及就是我们知道了两个不，那要做什么样的模型，要把什么样的人格注入到这个模型里面，大家有什么样的想法吗？
以及就是我们知道了两个不，那要做什么样的模型，要把什么样的人格注入到这个模型里面，大家有什么样的想法吗？
对的，刚刚我们其实是聊的品味。
对的，刚刚我们其实是聊的品味。
这个我把左和右两个布打出来，中间就是我们要的就是要有品味的。
这个我把左和右两个布打出来，中间就是我们要的就是要有品味的。
就不管是这个模型通过RESEARCH找到了一些相关的信息，还是通过写代码得到了一些答案，有了这些所有的原始材料之后，这个模型要通过自己的思考、自己的推理来给出一个相对比较合理的解释。
就不管是这个模型通过RESEARCH找到了一些相关的信息，还是通过写代码得到了一些答案，有了这些所有的原始材料之后，这个模型要通过自己的思考、自己的推理来给出一个相对比较合理的解释。
Agent team 的话其实也能稍微把这个问题解决一点。
Agent team 的话其实也能稍微把这个问题解决一点。
对，拍马屁这个事情我们其实是在做的，就是说用户让我们做的事情，但如果我们觉得不合理，那么我们应该告诉用户，我们不应该去拍马屁。
对，拍马屁这个事情我们其实是在做的，就是说用户让我们做的事情，但如果我们觉得不合理，那么我们应该告诉用户，我们不应该去拍马屁。
我们其实是有一整个系统去达到这样的目的的，包括我们的 constitution ai，就是说我们这个宪法，这个概念应该是 anthropic 几年前就提出来了，然后这个给我们整个模型定义了一个性格，这个我们都是把这种性格训练在模型的权重里了。
我们其实是有一整个系统去达到这样的目的的，包括我们的 constitution ai，就是说我们这个宪法，这个概念应该是 anthropic 几年前就提出来了，然后这个给我们整个模型定义了一个性格，这个我们都是把这种性格训练在模型的权重里了。
去实现它，当然还有很多。
去实现它，当然还有很多。
比如说我们注重真实性，比如说如果用户说错了，我们要去纠正它。
比如说我们注重真实性，比如说如果用户说错了，我们要去纠正它。
那这样的里面的细节就是通过验证VERIFICATION或者AGENT TEAM整个的形式，或多或少会去验证用户说的对还是不对，然后我们会去反驳它。
那这样的里面的细节就是通过验证VERIFICATION或者AGENT TEAM整个的形式，或多或少会去验证用户说的对还是不对，然后我们会去反驳它。
至于什么样的问题是好问题，就是不在鸡蛋里挑骨头，这个确实是一个品味问题。
至于什么样的问题是好问题，就是不在鸡蛋里挑骨头，这个确实是一个品味问题。
这可能你甚至让我们去写一个宪法或者写一个DOG，告诉你什么是好问题，什么是不好问题，也是很难写出来的。
这可能你甚至让我们去写一个宪法或者写一个DOG，告诉你什么是好问题，什么是不好问题，也是很难写出来的。
这方面更多的还是通过和顶级科学家去聊，以及顶级科学家提供的一些比如说偏好数据啊等等，去培养这样的品味。
这方面更多的还是通过和顶级科学家去聊，以及顶级科学家提供的一些比如说偏好数据啊等等，去培养这样的品味。
其实这个也是和平时我们在学校培养PHD是一样的，比如他们来问我们是什么样的一个题目值得做什么、不值得做，我们也会告诉他，确实我们公司有这种能接触到各行各业的顶级科学家的资源，这是非常重要的一点。
其实这个也是和平时我们在学校培养PHD是一样的，比如他们来问我们是什么样的一个题目值得做什么、不值得做，我们也会告诉他，确实我们公司有这种能接触到各行各业的顶级科学家的资源，这是非常重要的一点。
所以这也是陈天桥陈总从一开始的一个VISION嘛，就是说我们从一开始就要做HEAVY TO SOVER。
所以这也是陈天桥陈总从一开始的一个VISION嘛，就是说我们从一开始就要做HEAVY TO SOVER。
所以我们就需要和顶级科学家进行对齐，然后去培养这样的品味。
所以我们就需要和顶级科学家进行对齐，然后去培养这样的品味。
嗯，这点提得特别好啊。
嗯，这点提得特别好啊。
我确实知道陈天桥先生这边跟很多主流顶级科学家都保持着非常密切的联系。
我确实知道陈天桥先生这边跟很多主流顶级科学家都保持着非常密切的联系。
然后我在想，因为人类的顶级科学家这个数据量的样本是非常小的，然后我们说大模型它大很重要嘛，就有SKILLING LAW。
然后我在想，因为人类的顶级科学家这个数据量的样本是非常小的，然后我们说大模型它大很重要嘛，就有SKILLING LAW。
顶级科学家人工去判断的品位标注的数据，跟用更大量的数据去训模型来比，在里面它能贡献的核心的比例是多少呢？
顶级科学家人工去判断的品位标注的数据，跟用更大量的数据去训模型来比，在里面它能贡献的核心的比例是多少呢？
因为它的数据样本还是很小嘛。
因为它的数据样本还是很小嘛。
啊，是的，从数据这个角度来说呢，预训练方面确实需要大量的数据，所以才有SCALING LOW。
啊，是的，从数据这个角度来说呢，预训练方面确实需要大量的数据，所以才有SCALING LOW。
后训练相对来说需求会少一些，而且现在已经有更多的方法去把一个人类的品格呀或者性质总结出来。
后训练相对来说需求会少一些，而且现在已经有更多的方法去把一个人类的品格呀或者性质总结出来。
比如说META，最近也是在蒸馏员工啊等等，其实也在蒸馏三炮他们的性格或行为习惯对吧？
比如说META，最近也是在蒸馏员工啊等等，其实也在蒸馏三炮他们的性格或行为习惯对吧？
所以其实最近越来越多的还是说把一个人类的一些品格、性格啊去总结出来，还是慢慢的可以做到的。
所以其实最近越来越多的还是说把一个人类的一些品格、性格啊去总结出来，还是慢慢的可以做到的。
这也是一个比较新的方向嘛，就是说一个个体他的能力、性格等等，能不能用一些自然语言或者说的一些方式把它。
这也是一个比较新的方向嘛，就是说一个个体他的能力、性格等等，能不能用一些自然语言或者说的一些方式把它。
转化到让大模型可以去利用起来。
转化到让大模型可以去利用起来。
嗯嗯，对，我记得在音乐模型刚刚兴起的时候，就是SUNO的那一波啊。
嗯嗯，对，我记得在音乐模型刚刚兴起的时候，就是SUNO的那一波啊。
当时呢，就是我有问做这个音乐模型的科学家，我说SUNO做的歌太一般了，我觉得它就是一个大街上的口水歌。
当时呢，就是我有问做这个音乐模型的科学家，我说SUNO做的歌太一般了，我觉得它就是一个大街上的口水歌。
然后我说它能做出像周杰伦、Taylor Swift这些非常好的、有很好品味的歌曲吗？
然后我说它能做出像周杰伦、Taylor Swift这些非常好的、有很好品味的歌曲吗？
他当时给我的答案是，他说可以。
他当时给我的答案是，他说可以。
但是这个事情它不是受限于技术，它是受限于版权。
但是这个事情它不是受限于技术，它是受限于版权。
因为版权的因素，他们不敢拿顶级音乐人的歌曲去训练，所以他们用的呢就都是那种版权库里面一些简单配乐的歌。
因为版权的因素，他们不敢拿顶级音乐人的歌曲去训练，所以他们用的呢就都是那种版权库里面一些简单配乐的歌。
但是如果你真的用这些人类最精华、最好的歌曲去训的话。
但是如果你真的用这些人类最精华、最好的歌曲去训的话。
他觉得是完全可以训出来的如果我们说用顶级科学家的品味去去模型是不是也是同样的。
他觉得是完全可以训出来的如果我们说用顶级科学家的品味去去模型是不是也是同样的。
道理对的对的我很同意这一点我们人类也是从比如说一个婴儿开始嘛最后有的就成为了顶级科学家尤其从一个顶级科学家这条路其实也是别人给他的这些反馈告诉他什么是好什么是不好的而且得到的数据也并没有那么多我们还是相信通过顶级科学家给我们的这些指导我们可以拥有顶级科学家的品味。
道理对的对的我很同意这一点我们人类也是从比如说一个婴儿开始嘛最后有的就成为了顶级科学家尤其从一个顶级科学家这条路其实也是别人给他的这些反馈告诉他什么是好什么是不好的而且得到的数据也并没有那么多我们还是相信通过顶级科学家给我们的这些指导我们可以拥有顶级科学家的品味。
嗯嗯，对。
嗯嗯，对。
然后我注意到其实想让AI去做科学家自己去做发现的模型啊，几乎也是所有的现在我们说顶级模型公司都在做的。
然后我注意到其实想让AI去做科学家自己去做发现的模型啊，几乎也是所有的现在我们说顶级模型公司都在做的。
比如说OpenAI，它已经把能自己扛下一个大型研究课题的AI研究员定成了未来几年的头号目标。
比如说OpenAI，它已经把能自己扛下一个大型研究课题的AI研究员定成了未来几年的头号目标。
DEEP MIND呢，它创立的那天起，它也是为科学而生的。
DEEP MIND呢，它创立的那天起，它也是为科学而生的。
我们之前讲过DEEP MIND的创始人的历程，大家有兴趣的话可以回听一下我们那一期的播客啊。
我们之前讲过DEEP MIND的创始人的历程，大家有兴趣的话可以回听一下我们那一期的播客啊。
阿尔法FOLD，他还拿了诺奖。
阿尔法FOLD，他还拿了诺奖。
现在呢，包括JAMIE，他也是说自己要去做多智能体的CO-SCIENTIST，就是共同合作开发的科学家。
现在呢，包括JAMIE，他也是说自己要去做多智能体的CO-SCIENTIST，就是共同合作开发的科学家。
同时呢，ANTHROPIC他的DARIEL，他也想要有一个国家级的科学家的天才。
同时呢，ANTHROPIC他的DARIEL，他也想要有一个国家级的科学家的天才。
所以我听上去啊，现在所有的顶级模型公司都想去做科学家，都想让AI去做发现，去提出好的问题。
所以我听上去啊，现在所有的顶级模型公司都想去做科学家，都想让AI去做发现，去提出好的问题。
你们觉得APPLE DEX它的核心优势是什么呢？
你们觉得APPLE DEX它的核心优势是什么呢？
我觉得不做TO C类的模型，应该也可以算是一个核心优势。
我觉得不做TO C类的模型，应该也可以算是一个核心优势。
因为它可以去调一个模型的权重，还有其他的吗？
因为它可以去调一个模型的权重，还有其他的吗？
就这个战场是相当激烈的，你们进入了最激烈的战场。
就这个战场是相当激烈的，你们进入了最激烈的战场。
这个我很同意。
这个我很同意。
但这个战场呢，首先价值是很大的，因为它真正解决的一种难的科学问题，它是有很大意义的。
但这个战场呢，首先价值是很大的，因为它真正解决的一种难的科学问题，它是有很大意义的。
另外，科学问题其实还是一个非常广的。
另外，科学问题其实还是一个非常广的。
因为这个世界上有那么多学科呢，其实你解决其中几个问题就已经足够说是一个很大的突破了。
因为这个世界上有那么多学科呢，其实你解决其中几个问题就已经足够说是一个很大的突破了。
所以我觉得不止一家公司可以成功了。
所以我觉得不止一家公司可以成功了。
APPLE DEX这边的优势呢，我觉得就是我们比较专注，一是就像你说的，我们不是一个聊天机器人这样的模型，我们基本也不取悦用户的一些特别的偏好。
APPLE DEX这边的优势呢，我觉得就是我们比较专注，一是就像你说的，我们不是一个聊天机器人这样的模型，我们基本也不取悦用户的一些特别的偏好。
其实到现在大模型的整个发展吧，比如说训练的各种RECIPE啊或者这些配方算法什么的，大家也都知道了，大差不差，更多比拼的就是一种执行力吧，以及整个组织架构。
其实到现在大模型的整个发展吧，比如说训练的各种RECIPE啊或者这些配方算法什么的，大家也都知道了，大差不差，更多比拼的就是一种执行力吧，以及整个组织架构。
我觉得我们这边自上到下，从陈总那边开始，他自己也是一个非常非常卷，然后整天会和我们进行交流，整天会和AI进行交流，并且给我们不管从方向上还是一些其他方面都提供很多指导以及帮助。
我觉得我们这边自上到下，从陈总那边开始，他自己也是一个非常非常卷，然后整天会和我们进行交流，整天会和AI进行交流，并且给我们不管从方向上还是一些其他方面都提供很多指导以及帮助。
然后我们下面呢，执行力都很强，因为我们还是一个非常小的STARTUP的CULTURE，所以我们还是比较FOCUS，就做好这一件事情，做一个HEAVY DUTY SOVER。
然后我们下面呢，执行力都很强，因为我们还是一个非常小的STARTUP的CULTURE，所以我们还是比较FOCUS，就做好这一件事情，做一个HEAVY DUTY SOVER。
我觉得从这个组织形式上，我们还是和大厂、大公司相比有很大优势。
我觉得从这个组织形式上，我们还是和大厂、大公司相比有很大优势。
我们这边摩擦呀比较小，然后交流成本也很低，这些或多或少都是很重要，对于一个大模型公司能快速发展的关键。
我们这边摩擦呀比较小，然后交流成本也很低，这些或多或少都是很重要，对于一个大模型公司能快速发展的关键。
嗯，贝宾有补充吗？
嗯，贝宾有补充吗？
我其实做所谓的AI FOR SCIENCE这个概念已经做了有十多年了，在我读博士之前就在做AI FOR SCIENCE，当时主要是在医疗行业和自闭症用AI。
我其实做所谓的AI FOR SCIENCE这个概念已经做了有十多年了，在我读博士之前就在做AI FOR SCIENCE，当时主要是在医疗行业和自闭症用AI。
其实刚刚你说的，现在很多公司都开始往AI FOR SCIENCE做。
其实刚刚你说的，现在很多公司都开始往AI FOR SCIENCE做。
我其实觉得并不是一个竞争，反而我觉得看到的是希望的曙光。
我其实觉得并不是一个竞争，反而我觉得看到的是希望的曙光。
因为过去十几年来说，科学技术或者说IT技术FOR科学研究其实是没有太多真实、非常SCALABLE的成果的。
因为过去十几年来说，科学技术或者说IT技术FOR科学研究其实是没有太多真实、非常SCALABLE的成果的。
但是因为LM GENERATIVE MODEL和DISCOVERY MODEL的技术的提升，我觉得在未来，比如说五到十年。
但是因为LM GENERATIVE MODEL和DISCOVERY MODEL的技术的提升，我觉得在未来，比如说五到十年。
真的做出非常有科研价值和现实意义的成果，是有非常大的希望的。
真的做出非常有科研价值和现实意义的成果，是有非常大的希望的。
这个世界上所有的科研问题是无限的，或者是说有价值的科研问题也是无限的。
这个世界上所有的科研问题是无限的，或者是说有价值的科研问题也是无限的。
但是我们的人的精力是有限的，整个世界的 gpu 也是有限的。
但是我们的人的精力是有限的，整个世界的 gpu 也是有限的。
要怎么样在有限的 resource 和资源里面找到最有价值的问题去解决，这个才是最重要的一步。
要怎么样在有限的 resource 和资源里面找到最有价值的问题去解决，这个才是最重要的一步。
所以 apodex 有一个 hdd 团队，叫做 heavy duty discovery 这个团队。
所以 apodex 有一个 hdd 团队，叫做 heavy duty discovery 这个团队。
我们是有 full time 的员工，跟不同的顶级科学家交流。
我们是有 full time 的员工，跟不同的顶级科学家交流。
再从几千个科研问题里面找到最有价值的问题来做，这个可能是我们APPLEX和市面上一些其他不同公司的一个比较大的区别吧。
再从几千个科研问题里面找到最有价值的问题来做，这个可能是我们APPLEX和市面上一些其他不同公司的一个比较大的区别吧。
嗯，哦，我觉得你这点讲得特别好，真的是我们说AI FOR SCIENCE，科学问题它是无穷无尽的。
嗯，哦，我觉得你这点讲得特别好，真的是我们说AI FOR SCIENCE，科学问题它是无穷无尽的。
刚刚我们提到了生物医药啊，我们之后还会有一期呢，会专门聊DEEP MIND，他们是怎么去做自己的这个生物医药大模型的。
刚刚我们提到了生物医药啊，我们之后还会有一期呢，会专门聊DEEP MIND，他们是怎么去做自己的这个生物医药大模型的。
那DEEP MIND这条线也很有意思，它从最早去解决蛋白质怎么折叠到现在呢？
那DEEP MIND这条线也很有意思，它从最早去解决蛋白质怎么折叠到现在呢？
它是预测药物和蛋白怎么结合的。
它是预测药物和蛋白怎么结合的。
而且我觉得它也只解决了新药研发流程上偏上游，就是计算预测的这一段。
而且我觉得它也只解决了新药研发流程上偏上游，就是计算预测的这一段。
它离真正把药做出来送进临床中间还是有一个巨大的空间的。
它离真正把药做出来送进临床中间还是有一个巨大的空间的。
但是光就这一段，它已经是撑起30亿美元的融资了呀。
但是光就这一段，它已经是撑起30亿美元的融资了呀。
所以，哪怕我们说都做生物医药，它这个里面的问题也是无穷大的。
所以，哪怕我们说都做生物医药，它这个里面的问题也是无穷大的。
所以科学问题还是很广阔的，包括我们之后还说有什么物理问题、探索太空的问题、材料的问题。
所以科学问题还是很广阔的，包括我们之后还说有什么物理问题、探索太空的问题、材料的问题。
对无穷无尽。
对无穷无尽。
对的，另外我再补充一点，就是我们APPLEX不是做AI FOR SCIENCE，只不过AI FOR SCIENCE跟HEAVY DUTY SOVER有非常大的重叠的地方，所以我们就会FOCUS上，比如说医药领域和生物领域。
对的，另外我再补充一点，就是我们APPLEX不是做AI FOR SCIENCE，只不过AI FOR SCIENCE跟HEAVY DUTY SOVER有非常大的重叠的地方，所以我们就会FOCUS上，比如说医药领域和生物领域。
嗯嗯，AI FOR SENSE跟HEAVY DUTY SOLVER这两个你能不能简单解释一下你们做的方向上的区别是什么？
嗯嗯，AI FOR SENSE跟HEAVY DUTY SOLVER这两个你能不能简单解释一下你们做的方向上的区别是什么？
现在有很多模型，他们叫垂域模型，就他们真的是会用大量某一个具体领域数据去训练这个模型，在这个领域里的能力。
现在有很多模型，他们叫垂域模型，就他们真的是会用大量某一个具体领域数据去训练这个模型，在这个领域里的能力。
但我们这边的HEAVY DUTY SOLVER，我们还是一个比较通用的模型，我们会强调一些特别的原能力，包括验证能力、VERIFICATION，包括分析能力、搜索。
但我们这边的HEAVY DUTY SOLVER，我们还是一个比较通用的模型，我们会强调一些特别的原能力，包括验证能力、VERIFICATION，包括分析能力、搜索。
还有计划PLANNING这样的能力，这些原能力我们相信是对真正的一些难题都是有意义的。
还有计划PLANNING这样的能力，这些原能力我们相信是对真正的一些难题都是有意义的。
这些能力这是我们会去着重训练的，但我们不太会针对某一个特别的领域，比如说生物，我们会放50%的DATA，这个是我们不会去做的。
这些能力这是我们会去着重训练的，但我们不太会针对某一个特别的领域，比如说生物，我们会放50%的DATA，这个是我们不会去做的。
嗯嗯，刚刚贝宾你提到的有一个小细节我非常感兴趣啊，就是你说AI还有半年它就能完成自我的进化跟提升了，这句话我当时觉得很有意思，但是你能不能详细的解释一下它是什么意思？
嗯嗯，刚刚贝宾你提到的有一个小细节我非常感兴趣啊，就是你说AI还有半年它就能完成自我的进化跟提升了，这句话我当时觉得很有意思，但是你能不能详细的解释一下它是什么意思？
对我说的半年，是说最快可能半年之内能开始把闭环跑通。
对我说的半年，是说最快可能半年之内能开始把闭环跑通。
闭环的话，我觉得难度最大的其实是POST TRAINING。
闭环的话，我觉得难度最大的其实是POST TRAINING。
我觉得在半年之内，它这个闭环能跑出一环。
我觉得在半年之内，它这个闭环能跑出一环。
如果说RSI这个R是RECURSIVE，要跑很多很多环，但我觉得它跑完一环应该是半年到一年左右就能做完。
如果说RSI这个R是RECURSIVE，要跑很多很多环，但我觉得它跑完一环应该是半年到一年左右就能做完。
就比如说我们这个模型，可以在随便一个抖门，就比如说CODING FOR MATERIAL SCIENCE，可以在这里面发现自己的写的代码会有什么问题。
就比如说我们这个模型，可以在随便一个抖门，就比如说CODING FOR MATERIAL SCIENCE，可以在这里面发现自己的写的代码会有什么问题。
会造很多这样的训练环境和训练数据，在此基础上自我验证是否这道题训练完之后是有提升，以此迭代。
会造很多这样的训练环境和训练数据，在此基础上自我验证是否这道题训练完之后是有提升，以此迭代。
它这样迭代一个LOOP一次循环，我觉得半年之内应该是能成功的。
它这样迭代一个LOOP一次循环，我觉得半年之内应该是能成功的。
因为ANTHROPIC在这几个月也发过一篇BLOCK，说大概80%的代码是写的，但是现在有一些问题，这个问题即使是现在市面上最强的模型也没有完全解决。
因为ANTHROPIC在这几个月也发过一篇BLOCK，说大概80%的代码是写的，但是现在有一些问题，这个问题即使是现在市面上最强的模型也没有完全解决。
但是从我们最近的一些OBSERVATION和训练的结果来看，我觉得很快就会有一些突破了。
但是从我们最近的一些OBSERVATION和训练的结果来看，我觉得很快就会有一些突破了。
它指的问题是什么？
它指的问题是什么？
就是没有解决的问题。
就是没有解决的问题。
当然这个问题有很多，但我觉得让我睡不着觉的一个问题就是：我们怎么知道这个模型在自我进化的时候，它是满足人类的需求？
当然这个问题有很多，但我觉得让我睡不着觉的一个问题就是：我们怎么知道这个模型在自我进化的时候，它是满足人类的需求？
它没有跑偏。
它没有跑偏。
这个跑偏可以是说在安全上面的跑偏。
这个跑偏可以是说在安全上面的跑偏。
也可以是说在目标上的跑偏。
也可以是说在目标上的跑偏。
如果我们只是简单的说，你给我造一个更好的做材料科学的一个模型或者是一套算法，它可能真的造出来了，但是它在你没有观测的一些点，就比如说COST，或者是说在一些其他的，比如说疏水性这种性能上，可能会有非常大的一些COMPROMISE。
如果我们只是简单的说，你给我造一个更好的做材料科学的一个模型或者是一套算法，它可能真的造出来了，但是它在你没有观测的一些点，就比如说COST，或者是说在一些其他的，比如说疏水性这种性能上，可能会有非常大的一些COMPROMISE。
这个是我比较担心的，因为人和人交流的时候，一般说需求会说的比较的模糊。
这个是我比较担心的，因为人和人交流的时候，一般说需求会说的比较的模糊。
但是，特别是在训练模型的时候，如果你跟模型或者是说这个EVOLUTION说得比较模糊的话，它可能就会嗯，这个用户让我迭代写代码的能力。
但是，特别是在训练模型的时候，如果你跟模型或者是说这个EVOLUTION说得比较模糊的话，它可能就会嗯，这个用户让我迭代写代码的能力。
但我这边碰到了一个瓶颈，但是ANYWAY让我换一个方法来达到这个目标。
但我这边碰到了一个瓶颈，但是ANYWAY让我换一个方法来达到这个目标。
这个我们要对模型这个行为进行一个监控，是让我觉得最大的一个问题。
这个我们要对模型这个行为进行一个监控，是让我觉得最大的一个问题。
嗯，你觉得现在某种程度上这两个问题，一个是安全，一个是他达到目标不择手段的这两个能力。
嗯，你觉得现在某种程度上这两个问题，一个是安全，一个是他达到目标不择手段的这两个能力。
这两个问题现在解决了吗？
这两个问题现在解决了吗？
呃，我个人看来还是没有解决。
呃，我个人看来还是没有解决。
但我还是一个非常乐观的人，所以我觉得应该是很快就会有解决方法了。
但我还是一个非常乐观的人，所以我觉得应该是很快就会有解决方法了。
然后你刚刚提到这是一个让你睡不着觉的问题啊，从你的角度来说，有哪些方向的解决方案会让你现在觉得稍微安心一点？
然后你刚刚提到这是一个让你睡不着觉的问题啊，从你的角度来说，有哪些方向的解决方案会让你现在觉得稍微安心一点？
我们当然能想到的一个是穷举尽可能多的可能性，但是这个看起来是不是有点笨？
我们当然能想到的一个是穷举尽可能多的可能性，但是这个看起来是不是有点笨？
对，这里也是为什么我们还没有完成全自动化。
对，这里也是为什么我们还没有完成全自动化。
我其实现在做的最多的一件事情就是在每天工作时间。
我其实现在做的最多的一件事情就是在每天工作时间。
读这个模型的输出，和读智能体的每一步的操作，确保它每一步的操作，或者是说整一个大概吧，都在我可以理解、可以控制的范围之内。
读这个模型的输出，和读智能体的每一步的操作，确保它每一步的操作，或者是说整一个大概吧，都在我可以理解、可以控制的范围之内。
一旦我发现，比如说它这里有一些比较蠢的一些行为，或者是说我感觉有一点不太对的一些解决方法，我就会赶快停下这个智能体的LOOP，稍微手动地改一改、调一调，然后让它进行进一步的一个提升。
一旦我发现，比如说它这里有一些比较蠢的一些行为，或者是说我感觉有一点不太对的一些解决方法，我就会赶快停下这个智能体的LOOP，稍微手动地改一改、调一调，然后让它进行进一步的一个提升。
这个的话，就是刚刚我们说到的这个蠢方法。
这个的话，就是刚刚我们说到的这个蠢方法。
但是我现在是首条嘛，未来的话能不能有一个智能体就代替我帮我做这个首条？
但是我现在是首条嘛，未来的话能不能有一个智能体就代替我帮我做这个首条？
对吧？
对吧？
就是现在大家提得很火、也很搞笑的一个概念，就是员工蒸馏，能不能把我每天做的事情蒸馏到这个智能体里面，或者是甚至蒸馏到这个模型的CAPABILITY里面。
就是现在大家提得很火、也很搞笑的一个概念，就是员工蒸馏，能不能把我每天做的事情蒸馏到这个智能体里面，或者是甚至蒸馏到这个模型的CAPABILITY里面。
我觉得这个IDEA虽然说大家是说笑话，但我觉得是可行的。
我觉得这个IDEA虽然说大家是说笑话，但我觉得是可行的。
如果我们在三个月之内能把我或者是说我的同事。
如果我们在三个月之内能把我或者是说我的同事。
蒸馏到APPLE DEX的模型里面，或者是我们的脚手架里面。
蒸馏到APPLE DEX的模型里面，或者是我们的脚手架里面。
那其实有很多我们现在每天在做的事情，不管是读代码、改代码，还是读模型的输出、读智能体的输出，都是能加速自我进化、自我迭代的流程的。
那其实有很多我们现在每天在做的事情，不管是读代码、改代码，还是读模型的输出、读智能体的输出，都是能加速自我进化、自我迭代的流程的。
嗯，我们假设啊，真的把被冰蒸馏了，你会担心自己失业吗？
嗯，我们假设啊，真的把被冰蒸馏了，你会担心自己失业吗？
说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧。
说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧。
当然了，不同的人有不同的例子。
当然了，不同的人有不同的例子。
什么有汽车代替马车的例子，对吧？
什么有汽车代替马车的例子，对吧？
有什么ATNT自动转接机的例子。
有什么ATNT自动转接机的例子。
但其实我觉得这一次可能跟之前的工业革命有点不太一样。
但其实我觉得这一次可能跟之前的工业革命有点不太一样。
我确实有点担心自己会被代替。
我确实有点担心自己会被代替。
我记得非常非常清楚哈，是2021年我就开始有这个担心了。
我记得非常非常清楚哈，是2021年我就开始有这个担心了。
当时是GPT三年代，连GPT3.5都没有了。
当时是GPT三年代，连GPT3.5都没有了。
GPT3被微软放到了DITACOPILOT里面，当时我打了一个FUNCTION的名字，然后它能把整个FUNCTION给我补全。
GPT3被微软放到了DITACOPILOT里面，当时我打了一个FUNCTION的名字，然后它能把整个FUNCTION给我补全。
当时我还在读博士的最后一年，我又觉得哇，我整个人就瘫在椅子上了。
当时我还在读博士的最后一年，我又觉得哇，我整个人就瘫在椅子上了。
我觉得完蛋了，我毕业即失业。
我觉得完蛋了，我毕业即失业。
我这整一个PHD，整一个博士学的东西，他都能一行帮我补全。
我这整一个PHD，整一个博士学的东西，他都能一行帮我补全。
那我以后是不是就没工作了？
那我以后是不是就没工作了？
但是你看现在5年之后，我还在这里，我还有工作。
但是你看现在5年之后，我还在这里，我还有工作。
只不过我DAY TO DAY每天做的工作不一样了，我不在一个FUNCTION一个FUNCTION的写代码，而是我会在更高的一个维度、更高的一个层面。
只不过我DAY TO DAY每天做的工作不一样了，我不在一个FUNCTION一个FUNCTION的写代码，而是我会在更高的一个维度、更高的一个层面。
监控不同的智能体写代码。
监控不同的智能体写代码。
所以对这个模型会取代我今天做的事情，但它不一定能取代我5年之后会做的事情。
所以对这个模型会取代我今天做的事情，但它不一定能取代我5年之后会做的事情。
嗯，对你刚刚提到了你每天在给模型去评判它的质量行不行，然后去再做验证的这些工作。
嗯，对你刚刚提到了你每天在给模型去评判它的质量行不行，然后去再做验证的这些工作。
如果未来有了一个假设被冰的AI AGENT，它可以带你去做监督、校验、验证的这个环节以后，那其实相当于AI就开始自己变成了一个考官，它所有的行为都是在模仿你的这个行为、你的品味、你的价值观去做类似的判断。
如果未来有了一个假设被冰的AI AGENT，它可以带你去做监督、校验、验证的这个环节以后，那其实相当于AI就开始自己变成了一个考官，它所有的行为都是在模仿你的这个行为、你的品味、你的价值观去做类似的判断。
那是不是说当有了这样的一个AI以后？
那是不是说当有了这样的一个AI以后？
整个这一套就是让AI去验证的RSI，它的这个闭环就跑通了。
整个这一套就是让AI去验证的RSI，它的这个闭环就跑通了。
这就是你说的还有半年的时间可以做到。
这就是你说的还有半年的时间可以做到。
RSI的SI就跑通了。
RSI的SI就跑通了。
R可能还要再多花个一年两年，R是什么？
R可能还要再多花个一年两年，R是什么？
R是RECURSIVE，就是把它这个迭代起来。
R是RECURSIVE，就是把它这个迭代起来。
因为现在即使我们跑通了，我们每一次迭代之后，或者说每几次迭代之后，我们其实还是要人为地去看有没有之前我们聊过的RECURSIVE DRIFT漂移的问题。
因为现在即使我们跑通了，我们每一次迭代之后，或者说每几次迭代之后，我们其实还是要人为地去看有没有之前我们聊过的RECURSIVE DRIFT漂移的问题。
所以半年一年我们可以解决这个 loop 但是没有办法完全的解决漂移。
所以半年一年我们可以解决这个 loop 但是没有办法完全的解决漂移。
但是我还是有信心几年之内这个漂移的问题也可以把它完全解决。
但是我还是有信心几年之内这个漂移的问题也可以把它完全解决。
现在我们把这个漂移问题可以不停的缩小。
现在我们把这个漂移问题可以不停的缩小。
假设现在普通的模型，每一次可以漂移10%。
假设现在普通的模型，每一次可以漂移10%。
如果我们能把这个漂移降到1%，那就会很好了。
如果我们能把这个漂移降到1%，那就会很好了。
但是我们未来的目标是把它降到0.1%，甚至0.01%。
但是我们未来的目标是把它降到0.1%，甚至0.01%。
这样我们可以非常有信心这个模型自我迭代。
这样我们可以非常有信心这个模型自我迭代。
比如说三个月、六个月之后，再回来看它有没有超过，就相当于我们 monitor，我们监控的周期不需要这么频繁了。
比如说三个月、六个月之后，再回来看它有没有超过，就相当于我们 monitor，我们监控的周期不需要这么频繁了。
嗯，了解了解。
嗯，了解了解。
对，那这个应该是整个业界基本上是一个共识，大家都在往这个方向走。
对，那这个应该是整个业界基本上是一个共识，大家都在往这个方向走。
然后你觉得在整个走的过程中，就是其实我们刚刚提到了，现在AI自我进化最后的一道坎儿，一个是提出问题的品味，一个是判断结果可不可信。
然后你觉得在整个走的过程中，就是其实我们刚刚提到了，现在AI自我进化最后的一道坎儿，一个是提出问题的品味，一个是判断结果可不可信。
其实这两个方向你们都在压住啊，一个是DISCOVERY，一个是VERIFICATION。
其实这两个方向你们都在压住啊，一个是DISCOVERY，一个是VERIFICATION。
那你觉得这个品味它是谁的品味？
那你觉得这个品味它是谁的品味？
它是科学研究员的品味，还是说它是创始人的品味？
它是科学研究员的品味，还是说它是创始人的品味？
就是这之间它是怎么互相体现的？
就是这之间它是怎么互相体现的？
OK，这是一个很好的问题。
OK，这是一个很好的问题。
我觉得现在来说，大部分是AI研究员的品位，但是研究员的品位是被我们叫做INDIRECTLY被创始人的品位影响的。
我觉得现在来说，大部分是AI研究员的品位，但是研究员的品位是被我们叫做INDIRECTLY被创始人的品位影响的。
因为陈天桥、陈总他在选择研究员的时候，肯定会根据自己的品位选择研究员。
因为陈天桥、陈总他在选择研究员的时候，肯定会根据自己的品位选择研究员。
但是这一些我其实都不担心，因为品位没有对或者是错的区别，也没有好或者坏的区别，就只有适合和不适合的区别。
但是这一些我其实都不担心，因为品位没有对或者是错的区别，也没有好或者坏的区别，就只有适合和不适合的区别。
这是第一，第二是不管怎么样，这个模型虽然说现在是用我们的数据，或者是说我个人来监控这个模型的行为，但是未来我相信我们把这个线放长一点。
这是第一，第二是不管怎么样，这个模型虽然说现在是用我们的数据，或者是说我个人来监控这个模型的行为，但是未来我相信我们把这个线放长一点。
放到5年之后，可能我们的品味对这个 ai 模型的影响会越来越小。
放到5年之后，可能我们的品味对这个 ai 模型的影响会越来越小。
就像阿尔法 go 在最初训练的时候，是受到训练数据或者是说棋谱的影响很大。
就像阿尔法 go 在最初训练的时候，是受到训练数据或者是说棋谱的影响很大。
但到 alpha zero 出来之后，它已经不是从人类的品味中学习这个技术了，而是会自我品味、自我回放、自我 reason 来学习，它有自己独特的一套品味。
但到 alpha zero 出来之后，它已经不是从人类的品味中学习这个技术了，而是会自我品味、自我回放、自我 reason 来学习，它有自己独特的一套品味。
嗯，所以AI会在它整个过程中再通过RSI这个R形成自己的品味。
嗯，所以AI会在它整个过程中再通过RSI这个R形成自己的品味。
对，没错，我觉得我们的品味只是一个我们如果放在训练这个语言里面叫做warm start，就只是给它热启动了一下，以后AI会有自己的品味。
对，没错，我觉得我们的品味只是一个我们如果放在训练这个语言里面叫做warm start，就只是给它热启动了一下，以后AI会有自己的品味。
嗯，对对对，然后你刚刚提到了陈跳桥先生对AppleDex的品味，具体他在工作上主要是关注在哪些方向啊？
嗯，对对对，然后你刚刚提到了陈跳桥先生对AppleDex的品味，具体他在工作上主要是关注在哪些方向啊？
他怎么样去保证大家研究的焦点始终是在一些重要的问题上？
他怎么样去保证大家研究的焦点始终是在一些重要的问题上？
对，这也是一个很好的问题。
对，这也是一个很好的问题。
陈总在战略方面有非常多的把控，也经常跟我们开会聊和研究，以及对齐我们的所有的战略方向。
陈总在战略方面有非常多的把控，也经常跟我们开会聊和研究，以及对齐我们的所有的战略方向。
因为我们都有不同的背景，就比如说我之前做过很多年的AI FOR SCIENCE，然后SIMON之前做过很多年的强化学习。
因为我们都有不同的背景，就比如说我之前做过很多年的AI FOR SCIENCE，然后SIMON之前做过很多年的强化学习。
我们总会把之前在学校或者是说学术界的一些习惯带到APPLE DEX。
我们总会把之前在学校或者是说学术界的一些习惯带到APPLE DEX。
这个时候，陈总就可能会发现我们的一些压注可能和公司的大战略方向不是特别的对齐。
这个时候，陈总就可能会发现我们的一些压注可能和公司的大战略方向不是特别的对齐。
这个时候，陈总一般都会跳进来跟我们开个会，指出我们的一些错误或者是哪里偏离了公司的使命，然后会把我们搬正到正确的道路上。
这个时候，陈总一般都会跳进来跟我们开个会，指出我们的一些错误或者是哪里偏离了公司的使命，然后会把我们搬正到正确的道路上。
嗯，能举一个具体的小例子吗？
嗯，能举一个具体的小例子吗？
比如说我们heavy duty server本身呢，就是说它应该有很强的推理能力。
比如说我们heavy duty server本身呢，就是说它应该有很强的推理能力。
所以，当你碰到一个问题的时候呢，你应该先去把这个问题分解，再去进行搜索，搜集相关的信息，再去总结这些信息，然后去给出答案。
所以，当你碰到一个问题的时候呢，你应该先去把这个问题分解，再去进行搜索，搜集相关的信息，再去总结这些信息，然后去给出答案。
这是比较合理的一个HIGHER DO SOVER，或者一个比较强的注重推理能力模型的行为。
这是比较合理的一个HIGHER DO SOVER，或者一个比较强的注重推理能力模型的行为。
但是呢，我们之前很多的时候为了注重它的搜索能力，所以我们放入了很多搜索的相关的数据吧，然后模型的行为呢，会上来去进行搜索。
但是呢，我们之前很多的时候为了注重它的搜索能力，所以我们放入了很多搜索的相关的数据吧，然后模型的行为呢，会上来去进行搜索。
而不是上来先去仔细思考这样的问题，把它分解成一些子问题，然后再进行搜索。
而不是上来先去仔细思考这样的问题，把它分解成一些子问题，然后再进行搜索。
所以这从行为上，陈建桥、陈总自己去用这个模型的时候，他就能看出来这个模型的行为，并不是真正的HAVE VIDEO TO SOLVER的这样的一个行为。
所以这从行为上，陈建桥、陈总自己去用这个模型的时候，他就能看出来这个模型的行为，并不是真正的HAVE VIDEO TO SOLVER的这样的一个行为。
所以从这个时候，我们就要去改变这个方向。
所以从这个时候，我们就要去改变这个方向。
首先我们要去改行为，不管从数据啊，还是从AGENT等等形式上吧。
首先我们要去改行为，不管从数据啊，还是从AGENT等等形式上吧。
这里也涉及到我之前说过的，我们模型的宪法基本上也是陈总自己制定的，这个我们也是用到了，比如说模型的。
这里也涉及到我之前说过的，我们模型的宪法基本上也是陈总自己制定的，这个我们也是用到了，比如说模型的。
训练呀，各种调优里面都会用到陈总参与撰写的这个constitution。
训练呀，各种调优里面都会用到陈总参与撰写的这个constitution。
对OK，了解之前我知道两位马斯克也是大家的老板，然后你们觉得马斯克的风格跟陈天桥先生的风格有什么不一样吗？
对OK，了解之前我知道两位马斯克也是大家的老板，然后你们觉得马斯克的风格跟陈天桥先生的风格有什么不一样吗？
我觉得他们性格来说是比较类似的，但是陈总他的眼光或者是说对看待问题的方法跟马斯克很不一样。
我觉得他们性格来说是比较类似的，但是陈总他的眼光或者是说对看待问题的方法跟马斯克很不一样。
就比如说陈总非常注重AI for science，或者是说heavy duty server，这个马斯克其实之前跟我们说过非常类似的话，当然他的原话不是这个heavy duty，他会用一些其他的terminology说。
就比如说陈总非常注重AI for science，或者是说heavy duty server，这个马斯克其实之前跟我们说过非常类似的话，当然他的原话不是这个heavy duty，他会用一些其他的terminology说。
但是说的话和做的事其实不太一样的。
但是说的话和做的事其实不太一样的。
就比如说，大家可以看得到马斯克特别喜欢在X和TWITTER上发文，他经常用AI做一些小的，比如说画一些图或者是回答一些问题。
就比如说，大家可以看得到马斯克特别喜欢在X和TWITTER上发文，他经常用AI做一些小的，比如说画一些图或者是回答一些问题。
马斯克对这些非常的上心，他甚至之前可能会每一周都会问一下BROKE FOR X发展的进步是怎么样了。
马斯克对这些非常的上心，他甚至之前可能会每一周都会问一下BROKE FOR X发展的进步是怎么样了。
所以他其实是非常注重CHAT的这个FEATURE的。
所以他其实是非常注重CHAT的这个FEATURE的。
但是陈总就是他说的和做的其实是非常一样，他口上说非常看重heavy duty server，那他的focus就是heavy duty server，他对做聊天模型、视频生成、图片生成一点兴趣都没有。
但是陈总就是他说的和做的其实是非常一样，他口上说非常看重heavy duty server，那他的focus就是heavy duty server，他对做聊天模型、视频生成、图片生成一点兴趣都没有。
所以这个我觉得是非常align的地方。
所以这个我觉得是非常align的地方。
非常专注。
非常专注。
对的，陈总这边基本上从头至尾一直就是强调做heavy duty server，也跟我们说像图片、视频生成啊和这个目标基本上是正交的嘛，所以我们根本就不做这些方向。
对的，陈总这边基本上从头至尾一直就是强调做heavy duty server，也跟我们说像图片、视频生成啊和这个目标基本上是正交的嘛，所以我们根本就不做这些方向。
嗯嗯，谢谢大家，我觉得这期非常精彩了。
嗯嗯，谢谢大家，我觉得这期非常精彩了。
那在聊完这集节目的时候，我始终在想品味的问题啊。
那在聊完这集节目的时候，我始终在想品味的问题啊。
SIMON的那句顶级科学家不是看发了多少PAPER，而是看最好的那篇PAPER的质量有多高。
SIMON的那句顶级科学家不是看发了多少PAPER，而是看最好的那篇PAPER的质量有多高。
它其实点出了一个更大的问题，就是说如果现在AI的品味它是从人类顶级科学家那里热启动的，那么这个品味它本质上可以说还是被少数人去塑造的。
它其实点出了一个更大的问题，就是说如果现在AI的品味它是从人类顶级科学家那里热启动的，那么这个品味它本质上可以说还是被少数人去塑造的。
那么未来这些面向更加普罗大众的，比如说这些TO C的AI，它们到底应该代表谁的价值观呢？
那么未来这些面向更加普罗大众的，比如说这些TO C的AI，它们到底应该代表谁的价值观呢？
关于AI的哲学思考，也是我们这个时代急需的讨论。
关于AI的哲学思考，也是我们这个时代急需的讨论。
大家有什么样的评论与想法，欢迎给我们留言。
大家有什么样的评论与想法，欢迎给我们留言。
播客的听众可以通过小宇宙、苹果播客、喜马拉雅、蜻蜓FM、SPOTIFY来收听；视频的听众可以通过哔哩哔哩和YOUTUBE搜索硅谷101播客来找到我们。
播客的听众可以通过小宇宙、苹果播客、喜马拉雅、蜻蜓FM、SPOTIFY来收听；视频的听众可以通过哔哩哔哩和YOUTUBE搜索硅谷101播客来找到我们。
我是红军，感谢大家的收听。
我是红军，感谢大家的收听。
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕，帮助你打破语言障碍，轻松听懂全球优质播客。