本集简介
双语字幕
仅展示文本字幕,不包含中文音频;想边听边看,请使用 Bayt 播客 App。
大家好,欢迎回到硅谷101。
大家好,欢迎回到硅谷101。
我是译文,硅谷前沿AI实验室的商业模式大家应该都不陌生,把智能封装成API,再按TOKEN出售给用户。
我是译文,硅谷前沿AI实验室的商业模式大家应该都不陌生,把智能封装成API,再按TOKEN出售给用户。
但现在几家中国实验室正在用开放权重模型挑战这套模式。
但现在几家中国实验室正在用开放权重模型挑战这套模式。
7月27日,月之暗面正式发布了KIMI K3的完整模型权重。
7月27日,月之暗面正式发布了KIMI K3的完整模型权重。
在此之前,K3的横空出世以及它在多项测试上展现出的竞争力,都已经说明了一件事。
在此之前,K3的横空出世以及它在多项测试上展现出的竞争力,都已经说明了一件事。
开源模型正在逼近甚至超过最强的闭源模型,这意味着企业未来可能都不再需要完全依赖OpenAI或者ANTHROPIC,也可以部署定制和掌控自己的模型。
开源模型正在逼近甚至超过最强的闭源模型,这意味着企业未来可能都不再需要完全依赖OpenAI或者ANTHROPIC,也可以部署定制和掌控自己的模型。
K三的发布呢,在硅谷引发了一场更大的讨论。
K三的发布呢,在硅谷引发了一场更大的讨论。
过去几周,包括英伟达在内的数十家科技公司和机构签署公开声明,呼吁美国支持开放权重模型和更开放的AI生态。
过去几周,包括英伟达在内的数十家科技公司和机构签署公开声明,呼吁美国支持开放权重模型和更开放的AI生态。
但与此同时啊,也有批评者提出质疑:能力如此强大的模型是否应该开放?
但与此同时啊,也有批评者提出质疑:能力如此强大的模型是否应该开放?
它会不会带来新的安全风险?
它会不会带来新的安全风险?
中国模型的快速进步又在多大程度上涉及蒸馏。
中国模型的快速进步又在多大程度上涉及蒸馏。
所以在这期播客里面,我们邀请到了两位身处这场变化中心的嘉宾——前HUGGING FACE亚太开源生态负责人王铁正,以及TINY FISH联合创始人KISS JAY。
所以在这期播客里面,我们邀请到了两位身处这场变化中心的嘉宾——前HUGGING FACE亚太开源生态负责人王铁正,以及TINY FISH联合创始人KISS JAY。
我们一起讨论了中国开放模型为什么能在这么短的时间里逼近前沿。
我们一起讨论了中国开放模型为什么能在这么短的时间里逼近前沿。
最近争议很大的蒸馏到底是什么,又能解释多少模型能力呢?
最近争议很大的蒸馏到底是什么,又能解释多少模型能力呢?
当开放模型持续压低TOKEN价格,它将如何冲击闭源实验室的商业模式,又会怎样改变整个AGENT应用的生态?
当开放模型持续压低TOKEN价格,它将如何冲击闭源实验室的商业模式,又会怎样改变整个AGENT应用的生态?
那其实我们录制这期节目的时间是北京时间7月28日的上午。
那其实我们录制这期节目的时间是北京时间7月28日的上午。
昨天呢,月战面发布了KIMI K三的完整模型权重。
昨天呢,月战面发布了KIMI K三的完整模型权重。
那其实K三从7月16号的API上线以来啊,在硅谷的热度可以说是居高不下,而且呢也成为了硅谷最近讨论开源模型的时候最重要的案例之一。
那其实K三从7月16号的API上线以来啊,在硅谷的热度可以说是居高不下,而且呢也成为了硅谷最近讨论开源模型的时候最重要的案例之一。
那我想先请两位从你们的观察就是来回答一下这个比较大的问题吧:你们觉得K三真正让硅谷感到意外的是什么?
那我想先请两位从你们的观察就是来回答一下这个比较大的问题吧:你们觉得K三真正让硅谷感到意外的是什么?
要不先从KISS开始,因为你们公司是贝塞硅谷的吗?
要不先从KISS开始,因为你们公司是贝塞硅谷的吗?
其实如果我们稍微TAKE一点点STEP BACK呢,整个这个时间轴呢,其实是有几个部分的。
其实如果我们稍微TAKE一点点STEP BACK呢,整个这个时间轴呢,其实是有几个部分的。
最早的当然是从DEEP SICK那个时候开始,但接下来呢,最近的两个呢,一个我认为应该还是回到了GOM,就是Z到AI他们的这样的一个环境下。
最早的当然是从DEEP SICK那个时候开始,但接下来呢,最近的两个呢,一个我认为应该还是回到了GOM,就是Z到AI他们的这样的一个环境下。
过去的几个月里嘛,整个AI对硅谷带来影响变化是极其大也极其快的。
过去的几个月里嘛,整个AI对硅谷带来影响变化是极其大也极其快的。
在年初的时候,那个时候所有人在讨论的问题就是说:诶,我们要赶快用AI。
在年初的时候,那个时候所有人在讨论的问题就是说:诶,我们要赶快用AI。
但是很快呢,当时是UBER,包括其他几个公司,大家就开始晒了账单,说这账单已经没有办法再支撑了,就是一个月花了一年的预算等等等等,在这样的一个环境背景下,CAI以及中国的这些模型开始引起了新的讨论,包括当时的CURSOR来用了中国模型啊等等的这些事情。
但是很快呢,当时是UBER,包括其他几个公司,大家就开始晒了账单,说这账单已经没有办法再支撑了,就是一个月花了一年的预算等等等等,在这样的一个环境背景下,CAI以及中国的这些模型开始引起了新的讨论,包括当时的CURSOR来用了中国模型啊等等的这些事情。
因为KIMI三作为一个OPEN SOURCE的一个MODEL,它的能力它其实达到了一个在很多人看来很新的一个高度。
因为KIMI三作为一个OPEN SOURCE的一个MODEL,它的能力它其实达到了一个在很多人看来很新的一个高度。
那在一个COST SOVEREIGNTY等等讨论情况下,这样的一个新的群体的开源模型到底会走到什么一个程度,以及它对所有的闭源模型会带来一个什么样的冲击,它已经超出了说是一个讨论,而是更多大家在看、在使用的情况下,具体应该怎么样的做调整。
那在一个COST SOVEREIGNTY等等讨论情况下,这样的一个新的群体的开源模型到底会走到什么一个程度,以及它对所有的闭源模型会带来一个什么样的冲击,它已经超出了说是一个讨论,而是更多大家在看、在使用的情况下,具体应该怎么样的做调整。
对铁真有什么要补充的吗?
对铁真有什么要补充的吗?
对我特别同意KISS的说法,我觉得K三的发布并不是一蹴而就。
对我特别同意KISS的说法,我觉得K三的发布并不是一蹴而就。
它实际上是有一个漫长的铺垫的过程,从去年年初的这个DEEP SEA V ONE,那个时候第一次带来了开源版的THINKING CHAT,让大家知道推理模型是怎么做的。
它实际上是有一个漫长的铺垫的过程,从去年年初的这个DEEP SEA V ONE,那个时候第一次带来了开源版的THINKING CHAT,让大家知道推理模型是怎么做的。
然后那个时候就非常有意思,因为我记得当时纳斯达克跌得很厉害,那个时候大家就在想:诶,中国模型、开源模型已经非常非常接近闭源的前沿模型,不管是从硬件生态、整个AI的估值体系,还有模型公司的生态……大家都有一个反思,结果我发现过了一年,大家发现是一个狼来了的故事。
然后那个时候就非常有意思,因为我记得当时纳斯达克跌得很厉害,那个时候大家就在想:诶,中国模型、开源模型已经非常非常接近闭源的前沿模型,不管是从硬件生态、整个AI的估值体系,还有模型公司的生态……大家都有一个反思,结果我发现过了一年,大家发现是一个狼来了的故事。
因为过去一年的开源和闭源模型的性能的分化,实际上是非常非常大的。
因为过去一年的开源和闭源模型的性能的分化,实际上是非常非常大的。
闭源模型可能能做到月更,开源模型可能是季更,在性能上不管是OPPO还是4.6、OPPO4.7、OPPO4.8,其实都是远远领先于开源模型的。
闭源模型可能能做到月更,开源模型可能是季更,在性能上不管是OPPO还是4.6、OPPO4.7、OPPO4.8,其实都是远远领先于开源模型的。
但是最近几个月发生了一些变化,包括KISS刚才说的这个GM5.2,我也是重度在使用,我已经用这个GM5.2完全取代了这个OPPO4.8的一些功能。
但是最近几个月发生了一些变化,包括KISS刚才说的这个GM5.2,我也是重度在使用,我已经用这个GM5.2完全取代了这个OPPO4.8的一些功能。
但是大家觉得可能还好,因为美国模型又出下一代了。
但是大家觉得可能还好,因为美国模型又出下一代了。
只要闭源模型领先于开源模型超过一个时代,那没有太多可以担心的。
只要闭源模型领先于开源模型超过一个时代,那没有太多可以担心的。
大家还是要用最好的闭源模型,所以这是一个时间点。
大家还是要用最好的闭源模型,所以这是一个时间点。
然后大家就在说OK,这样5.2挺好的,但是我们不担心,直到过了一段时间,大家发现诶K3出来了。
然后大家就在说OK,这样5.2挺好的,但是我们不担心,直到过了一段时间,大家发现诶K3出来了。
K3不是说跟OPPO平级的一个问题,它是基本上已经追上了FABLE,甚至在某些场景上要比FABLE做得还好。
K3不是说跟OPPO平级的一个问题,它是基本上已经追上了FABLE,甚至在某些场景上要比FABLE做得还好。
那闭源模型瞬间就发现诶自己没有一个护城河了,因为开源模型跟自己又是回到DEEPSEEK R1的那个时代,跟自己又是平级的一个时候,所以大家就很FORMAL。
那闭源模型瞬间就发现诶自己没有一个护城河了,因为开源模型跟自己又是回到DEEPSEEK R1的那个时代,跟自己又是平级的一个时候,所以大家就很FORMAL。
然后又很担心,说哦,那我们整个AI估值的泡沫怎么办?
然后又很担心,说哦,那我们整个AI估值的泡沫怎么办?
然后我们整个场景是不是还可以按照过去的模式继续运转下去?
然后我们整个场景是不是还可以按照过去的模式继续运转下去?
大家还是要用闭源模型,也有可能未来我们要完全转向一个基于开源模型的生态。
大家还是要用闭源模型,也有可能未来我们要完全转向一个基于开源模型的生态。
所以美国内部就会有很多讨论,那他们关注的点实际上有两个:第一个是FABLE在讲自己非常不安全,所以我们要限制这个FABLE模型的使用,实际上更多的是之前的那个METHODS,如果有有一个开源模型。
所以美国内部就会有很多讨论,那他们关注的点实际上有两个:第一个是FABLE在讲自己非常不安全,所以我们要限制这个FABLE模型的使用,实际上更多的是之前的那个METHODS,如果有有一个开源模型。
它的能力已经接近飞博,是不是它也是不安全?
它的能力已经接近飞博,是不是它也是不安全?
然后你又把这么一个不安全的模型给开源出来。
然后你又把这么一个不安全的模型给开源出来。
那你冒着什么心态?
那你冒着什么心态?
然后另外一个话题就是说,美国人就会在想说:诶,你为什么能够在这么短时间内,好像就在这几个月连续取得这么多的突破?
然后另外一个话题就是说,美国人就会在想说:诶,你为什么能够在这么短时间内,好像就在这几个月连续取得这么多的突破?
你一定是在蒸馏我的模型飞博和K3的,就是实际用户能用上的这个发布中间只隔了大概15天左右。
你一定是在蒸馏我的模型飞博和K3的,就是实际用户能用上的这个发布中间只隔了大概15天左右。
这也是一个非常有意思的话题,就是说K3到底有没有在蒸馏飞博?
这也是一个非常有意思的话题,就是说K3到底有没有在蒸馏飞博?
我个人倾向于是没有的,因为你你十多天连模型发布的准备都来不及,你你何谈说收集到足够多的语料,然后并且蒸馏飞博。
我个人倾向于是没有的,因为你你十多天连模型发布的准备都来不及,你你何谈说收集到足够多的语料,然后并且蒸馏飞博。
所以K3这个时候发布,像DEEPSEEK和V1当年一样,有着非常非常多的话题。
所以K3这个时候发布,像DEEPSEEK和V1当年一样,有着非常非常多的话题。
然后大家也对KIMI这个公司非常有兴趣,包括杨振宁之前的一些观点,非常有兴趣。
然后大家也对KIMI这个公司非常有兴趣,包括杨振宁之前的一些观点,非常有兴趣。
所有这些加起来,就是K3之所以这次在硅谷取得这么大关注的一个原因。
所有这些加起来,就是K3之所以这次在硅谷取得这么大关注的一个原因。
当然很快后面中国模型像MINI MAX、像千问都要发2T到3T的这个模型,甚至质朴可能也会有一些动作。
当然很快后面中国模型像MINI MAX、像千问都要发2T到3T的这个模型,甚至质朴可能也会有一些动作。
所以后面我们可能会看到更多除了K3之外,其他中国模型在硅谷引起的非常多的讨论。
所以后面我们可能会看到更多除了K3之外,其他中国模型在硅谷引起的非常多的讨论。
所以我们就拭目以待。
所以我们就拭目以待。
这个行业是变化非常快,然后也非常非常有意思。
这个行业是变化非常快,然后也非常非常有意思。
我觉得你提到两个非常关键的问题啊,就是我们这一期节目也想深入探讨:第一个就是一个能力如此强大的模型,它去开源到底安不安全?
我觉得你提到两个非常关键的问题啊,就是我们这一期节目也想深入探讨:第一个就是一个能力如此强大的模型,它去开源到底安不安全?
第二个就是关于蒸馏的指控的这样一些问题。
第二个就是关于蒸馏的指控的这样一些问题。
因为你们都提到了硅谷对于中国开源这件事情整个时间线上的一个变化嘛,然后对此的态度一个变化。
因为你们都提到了硅谷对于中国开源这件事情整个时间线上的一个变化嘛,然后对此的态度一个变化。
诶,我想再深入捋一下这个时间线。
诶,我想再深入捋一下这个时间线。
所以说在GOM之前。
所以说在GOM之前。
硅谷对于部署中国开源模型的态度是怎么样?
硅谷对于部署中国开源模型的态度是怎么样?
就是从企业的角度来说,有没有因为成本的考虑,在某一个时刻选择我就要从这个anthropic的模型换成中国开源的模型?
就是从企业的角度来说,有没有因为成本的考虑,在某一个时刻选择我就要从这个anthropic的模型换成中国开源的模型?
这个大概是在一个什么时间点发生的?
这个大概是在一个什么时间点发生的?
这肯定要分行业嘛。
这肯定要分行业嘛。
比如说有些行业它就是一个非常敏感的行业,那就by nature它不可以使用其他国家模型的。
比如说有些行业它就是一个非常敏感的行业,那就by nature它不可以使用其他国家模型的。
从美国来说吧。
从美国来说吧。
当然,这个东西适用在其他一些地方,比如说欧洲的一些国家呀,包括日本啊等等地方。
当然,这个东西适用在其他一些地方,比如说欧洲的一些国家呀,包括日本啊等等地方。
但与此之外呢,AI的变化是极其快的。
但与此之外呢,AI的变化是极其快的。
其实很多时候呢,大家第一个反应应该是在讨论说我们怎么样来使用模型。
其实很多时候呢,大家第一个反应应该是在讨论说我们怎么样来使用模型。
其实很多的时候呢,应该考虑的是我怎么样用到最好的模型。
其实很多的时候呢,应该考虑的是我怎么样用到最好的模型。
Cost这个问题,只有在上了一很大一个量之后才会变成一个更显著的问题。
Cost这个问题,只有在上了一很大一个量之后才会变成一个更显著的问题。
就算从硅谷来说,成立一个大规模上量级的使用,是因为coding整个这一块所带来的一个巨大的变化嘛?
就算从硅谷来说,成立一个大规模上量级的使用,是因为coding整个这一块所带来的一个巨大的变化嘛?
coding之前其实大家大多数的一个消费场景是rack。
coding之前其实大家大多数的一个消费场景是rack。
但其实这个RAG的对TOKEN的消耗量,往往无法跟相当于CODING一开放之后所生产力所带来的改变。
但其实这个RAG的对TOKEN的消耗量,往往无法跟相当于CODING一开放之后所生产力所带来的改变。
所以大家最大的一个调整是CODING之后,其实是从去年大概9月份前后吧,ANTRAPIC开始比较大规模的推动之后才开始的。
所以大家最大的一个调整是CODING之后,其实是从去年大概9月份前后吧,ANTRAPIC开始比较大规模的推动之后才开始的。
那在六个月时间里,CODING从一个大家赶快去需要到突然意识到说啊,我花了太多钱了。
那在六个月时间里,CODING从一个大家赶快去需要到突然意识到说啊,我花了太多钱了。
那就包括从我们这样一个公司来说,才50多个人,一个月其实整个消费也是大概是个六位数左右的美金。
那就包括从我们这样一个公司来说,才50多个人,一个月其实整个消费也是大概是个六位数左右的美金。
那其实是一个很高很高的COST,不要提那种更大的公司啊,更大的企业都会面临很多挑战的。
那其实是一个很高很高的COST,不要提那种更大的公司啊,更大的企业都会面临很多挑战的。
而这种转向几乎就是在一个月之内发生的。
而这种转向几乎就是在一个月之内发生的。
而智普当时的推动呢,因为不是开源嘛,它虽然没有改变事情本身,但它从价格上当时对很多人来说是哇。
而智普当时的推动呢,因为不是开源嘛,它虽然没有改变事情本身,但它从价格上当时对很多人来说是哇。
原来的模型可以这么便宜又这么好,其实很多就开始更多的去看,比如说千问啊等等的这种一个开源模型所带来的进展了。
原来的模型可以这么便宜又这么好,其实很多就开始更多的去看,比如说千问啊等等的这种一个开源模型所带来的进展了。
而那这回KIMI的话,相当于在大家这样一个焦虑的时间点上,更高的推动了一步。
而那这回KIMI的话,相当于在大家这样一个焦虑的时间点上,更高的推动了一步。
其实都在很短的时间内发生的,但整个恋爱行业有点像是天上一日、人间一年这样的一种感觉。
其实都在很短的时间内发生的,但整个恋爱行业有点像是天上一日、人间一年这样的一种感觉。
进展得实在很快。
进展得实在很快。
对?
对?
所以其实K3相当于是再次加深了大家的这个印象,就是现在的开源模型的能力已经可以做到和闭源模型能力一样强了。
所以其实K3相当于是再次加深了大家的这个印象,就是现在的开源模型的能力已经可以做到和闭源模型能力一样强了。
所以在这种情况之下,企业才会去做这样一个成本的判断,就像你刚刚说的,今年的前几个月大家主要是在TOKEN MAXING。
所以在这种情况之下,企业才会去做这样一个成本的判断,就像你刚刚说的,今年的前几个月大家主要是在TOKEN MAXING。
去最大化这个TOKEN的使用量呢,现在可能是一个TOKENOPTIMIZATION优化的状态。
去最大化这个TOKEN的使用量呢,现在可能是一个TOKENOPTIMIZATION优化的状态。
对,其实这个东西我倒感觉呢,不是说是开源模型就跟闭源的达到一样强。
对,其实这个东西我倒感觉呢,不是说是开源模型就跟闭源的达到一样强。
第一点是整个成本,另外一个主要的问题呢,就是所有权。
第一点是整个成本,另外一个主要的问题呢,就是所有权。
如果模型一切都是取决于对方是否开放啊,这就是FABLE今天早一点ATROPIC的这个事情,其实对大家影响很大的。
如果模型一切都是取决于对方是否开放啊,这就是FABLE今天早一点ATROPIC的这个事情,其实对大家影响很大的。
说突然有一天美国商务部说这个不可以用了,那就一夜之间这都不可以用了,那之前你做的部署、之前什么可能都没有了。
说突然有一天美国商务部说这个不可以用了,那就一夜之间这都不可以用了,那之前你做的部署、之前什么可能都没有了。
那这种情况怎么办?
那这种情况怎么办?
很多时候,大家就会发现说:‘那我可能不需要用最好的模型。
很多时候,大家就会发现说:‘那我可能不需要用最好的模型。
’前一段艾森哲做了一个内部的调研嘛,艾森哲作为世界上最大的咨询公司之一,他们又是专门做AI相关的。
’前一段艾森哲做了一个内部的调研嘛,艾森哲作为世界上最大的咨询公司之一,他们又是专门做AI相关的。
其实他们的员工使用模型做的最多的事儿就是生成PDF。
其实他们的员工使用模型做的最多的事儿就是生成PDF。
那这个东西其实你不需要用最新模型去做的。
那这个东西其实你不需要用最新模型去做的。
对成本上我是这样想的啊。
对成本上我是这样想的啊。
为什么开源模型的推理成本一般会比闭源模型要便宜?
为什么开源模型的推理成本一般会比闭源模型要便宜?
它有几个结构性的原因。
它有几个结构性的原因。
第一个,如果你看闭源模型成本拆开看的话,那它一部分是实际买硬件去做推理的固定的成本,另一部分是说它要为这个模型付一个PREMIUM,因为你这是一个闭源的这个模型嘛,它卖API的时候肯定是带了闭源模型本身的一个成本。
第一个,如果你看闭源模型成本拆开看的话,那它一部分是实际买硬件去做推理的固定的成本,另一部分是说它要为这个模型付一个PREMIUM,因为你这是一个闭源的这个模型嘛,它卖API的时候肯定是带了闭源模型本身的一个成本。
但如果我们去看开源模型推理的一个成本的结构体系,比如说FIREWORKS,比如说TOGETHER AI。
但如果我们去看开源模型推理的一个成本的结构体系,比如说FIREWORKS,比如说TOGETHER AI。
其实只有一个硬件的成本,和他自己为推理服务所赚的钱。
其实只有一个硬件的成本,和他自己为推理服务所赚的钱。
他并没有为模型额外的付钱,这是现在的情况,未来可能会变化。
他并没有为模型额外的付钱,这是现在的情况,未来可能会变化。
所以从结构上来讲,它应该是会比闭源模型要低的。
所以从结构上来讲,它应该是会比闭源模型要低的。
第二个也要看到中国开源模型实际上一直都在卷一个东西,叫SKILLING EFFICIENCY,在你去做SKILLING的时候,是不是能够同时把成本降下来?
第二个也要看到中国开源模型实际上一直都在卷一个东西,叫SKILLING EFFICIENCY,在你去做SKILLING的时候,是不是能够同时把成本降下来?
那KIMI K三的那个报告里面有一个图,那它横轴是说你的FLOPS,然后纵轴是说你达到同样的模型的能力,比如说用这个模型训练的时候这个LOSS来衡量。
那KIMI K三的那个报告里面有一个图,那它横轴是说你的FLOPS,然后纵轴是说你达到同样的模型的能力,比如说用这个模型训练的时候这个LOSS来衡量。
它有两个曲线,然后一个是K3,一个是K2。
它有两个曲线,然后一个是K3,一个是K2。
我们看到说虽然K3比K2大了一倍,甚至还多,但是实际上它的SKILLING EFFICIENCY是扩大了2.5倍。
我们看到说虽然K3比K2大了一倍,甚至还多,但是实际上它的SKILLING EFFICIENCY是扩大了2.5倍。
也就是说K3通过一个模型架构上的演进,达到了模型更大且模型更EFFICIENT的这么一个效果。
也就是说K3通过一个模型架构上的演进,达到了模型更大且模型更EFFICIENT的这么一个效果。
那这个也是导致成本能够快速降低的一个原因,这里面起到作用最大的可能就是它用的KDA和其他的一些优化的技术。
那这个也是导致成本能够快速降低的一个原因,这里面起到作用最大的可能就是它用的KDA和其他的一些优化的技术。
这一方面,比如说KDA啊,或者是RWKV,或者是其他的一些LINEAR TENSION技术,是国内每一家厂都在研究的。
这一方面,比如说KDA啊,或者是RWKV,或者是其他的一些LINEAR TENSION技术,是国内每一家厂都在研究的。
但是我们很少看到海外的闭源厂,比如说ANTHROPIC或者ChatGPT去讲说它用了什么样的这种技术。
但是我们很少看到海外的闭源厂,比如说ANTHROPIC或者ChatGPT去讲说它用了什么样的这种技术。
其实LINEAR TENSION整个这个领域目前最火的,能让大模型更便宜的技术的这个领域,主要都是由华人的RESEARCHER主导。
其实LINEAR TENSION整个这个领域目前最火的,能让大模型更便宜的技术的这个领域,主要都是由华人的RESEARCHER主导。
所以这个是可能开源模型另一个方面的优势,因为它出生在一个算力受限的国家,所以它天然第一天就很关注这个模型训练和推理的时候是不是都可以变得。
所以这个是可能开源模型另一个方面的优势,因为它出生在一个算力受限的国家,所以它天然第一天就很关注这个模型训练和推理的时候是不是都可以变得。
非常非常的高效,这也就导致说为什么开源模型的成本会低。
非常非常的高效,这也就导致说为什么开源模型的成本会低。
第三个原因就是说国内的开源模型实际上现在没有足够的算力去SCALE到那么大的一个规模。
第三个原因就是说国内的开源模型实际上现在没有足够的算力去SCALE到那么大的一个规模。
网上有传言说FABLE这个模型可能它的本体有八到十T那么大,但是K3的话它实际上只有三T不到。
网上有传言说FABLE这个模型可能它的本体有八到十T那么大,但是K3的话它实际上只有三T不到。
也就是说三T的模型可以跟十T左右的模型达到同样的效果。
也就是说三T的模型可以跟十T左右的模型达到同样的效果。
单看这个尺寸的话,其实我们也能想象。
单看这个尺寸的话,其实我们也能想象。
推理成本本身也是有一个巨大的差别的。
推理成本本身也是有一个巨大的差别的。
开源模型可以以更小的模型做出更多的事情,所以它会比闭源模型更便宜。
开源模型可以以更小的模型做出更多的事情,所以它会比闭源模型更便宜。
呃,我觉得这个特别有意思,因为其实我本来有一个关于算力的问题,因为从DP开始,大家就是在说中国的整个模型是算力受限导致创新倒逼的这样一个叙事嘛。
呃,我觉得这个特别有意思,因为其实我本来有一个关于算力的问题,因为从DP开始,大家就是在说中国的整个模型是算力受限导致创新倒逼的这样一个叙事嘛。
那现在听起来其实K3的思路也还是一样的。
那现在听起来其实K3的思路也还是一样的。
但是虽然这个模型结构的演进会带来很多的方便,但是。
但是虽然这个模型结构的演进会带来很多的方便,但是。
在工程适配上确实带来了很多很多挑战,这也需要很多额外的工作才能够把理论上的这个极限实际在工程上做出来,所以还是要给中国因富尔专家们打call。
在工程适配上确实带来了很多很多挑战,这也需要很多额外的工作才能够把理论上的这个极限实际在工程上做出来,所以还是要给中国因富尔专家们打call。
是的是的,既然我们聊到了Kimi的能力还有训练这个方面,我们就来解决一下蒸馏这个争议吧,因为你们之前都提到了Anthropic对于包括月占面在内的三家公司Deepseek月占面和Minimax。
是的是的,既然我们聊到了Kimi的能力还有训练这个方面,我们就来解决一下蒸馏这个争议吧,因为你们之前都提到了Anthropic对于包括月占面在内的三家公司Deepseek月占面和Minimax。
三家公司在今年二月提出的蒸馏的指控嘛,包括最近KIMI把K3放出来之后呢,其实美国的政府也有所介入,提出了针对中国开源模型是否要限制的这样等等一系列问题,并且在讨论相应的政策。
三家公司在今年二月提出的蒸馏的指控嘛,包括最近KIMI把K3放出来之后呢,其实美国的政府也有所介入,提出了针对中国开源模型是否要限制的这样等等一系列问题,并且在讨论相应的政策。
这个网络上也有很多的讨论,我觉得咱们先做一个科普吧,就是蒸馏到底指的是什么?
这个网络上也有很多的讨论,我觉得咱们先做一个科普吧,就是蒸馏到底指的是什么?
因为我觉得其实ANTHROPIC它说的蒸馏和我们在说AI训练当中蒸馏的这个过程,其实之间还是有一些细微的区分的。
因为我觉得其实ANTHROPIC它说的蒸馏和我们在说AI训练当中蒸馏的这个过程,其实之间还是有一些细微的区分的。
田真要不要先帮我们解释一下?
田真要不要先帮我们解释一下?
对,蒸馏实际上是一个现在被用烂的一个词。
对,蒸馏实际上是一个现在被用烂的一个词。
然后很多不同层面的蒸馏的这个词语都混在一起。
然后很多不同层面的蒸馏的这个词语都混在一起。
从纯技术角度,蒸馏是一个非常中性的词。
从纯技术角度,蒸馏是一个非常中性的词。
蒸馏就是说,我现在有一个大的模型,然后我现在另外有个小的模型,我怎么样让这个小的模型学会大的模型的一个能力?
蒸馏就是说,我现在有一个大的模型,然后我现在另外有个小的模型,我怎么样让这个小的模型学会大的模型的一个能力?
它可能有很多种方法。
它可能有很多种方法。
最传统的方法就是说,我们看一下大的模型推理之后它输出的这个LOGITS,就正常我们用比如说闭源模型,你是看不到这个LOGITS。
最传统的方法就是说,我们看一下大的模型推理之后它输出的这个LOGITS,就正常我们用比如说闭源模型,你是看不到这个LOGITS。
它LOGIC,就是说每一个位置上每一个TOKEN它的输出的一个概率,然后让小模型去学这个概率的分布。
它LOGIC,就是说每一个位置上每一个TOKEN它的输出的一个概率,然后让小模型去学这个概率的分布。
比如说你用闭源模型,你能拿到的就是它最后SAMPLE,就是它采样出来了哪一个词,你是没有办法反推回来它的分布的。
比如说你用闭源模型,你能拿到的就是它最后SAMPLE,就是它采样出来了哪一个词,你是没有办法反推回来它的分布的。
所以用经典的我们聊的蒸馏的这个技术的词汇,你是没有办法做到。
所以用经典的我们聊的蒸馏的这个技术的词汇,你是没有办法做到。
比如说我们拿一个开源模型,然后让它去学会FIBER的这种事情。
比如说我们拿一个开源模型,然后让它去学会FIBER的这种事情。
所以本身我们说这个蒸馏实际上是一种滥用。
所以本身我们说这个蒸馏实际上是一种滥用。
现在大家谈的蒸馏,更多的是说利用闭源模型生成出的文本来学习,然后让这个开源模型拥有闭源模型的一个能力。
现在大家谈的蒸馏,更多的是说利用闭源模型生成出的文本来学习,然后让这个开源模型拥有闭源模型的一个能力。
那这个事情其实就非常 controversial,就是说起来就非常有意思。
那这个事情其实就非常 controversial,就是说起来就非常有意思。
闭源模型可以拿所有人类的数据去学习。
闭源模型可以拿所有人类的数据去学习。
然后学完的东西在被闭源模型输出之后,不能被别人用来做下一个模型。
然后学完的东西在被闭源模型输出之后,不能被别人用来做下一个模型。
这不是很可笑吗?
这不是很可笑吗?
相当于是闭源模型练了一个宝典,然后他就把所有的语料都扔掉,不告诉你说他是在哪儿学的,也不给你讲说他学到的这个东西是什么。
相当于是闭源模型练了一个宝典,然后他就把所有的语料都扔掉,不告诉你说他是在哪儿学的,也不给你讲说他学到的这个东西是什么。
不允许开源模型拿他的这个输出去训练。
不允许开源模型拿他的这个输出去训练。
或者换一个例子,有人读了一本书,然后他拿这个书的内容去写了一些自己的创作,跟所有别的人说:‘你不能读我写的这个东西’。
或者换一个例子,有人读了一本书,然后他拿这个书的内容去写了一些自己的创作,跟所有别的人说:‘你不能读我写的这个东西’。
实际上就是一个非常非常有意思的点,就是版权法是不是能保护毕业模型的输出不能够被其他模型拿去做训练。
实际上就是一个非常非常有意思的点,就是版权法是不是能保护毕业模型的输出不能够被其他模型拿去做训练。
那在这个点上,开源模型实际上是非常非常开放的。
那在这个点上,开源模型实际上是非常非常开放的。
R ONE出来的时候,它直接说我们支持所有人去蒸馏我的开源的这个模型,我甚至官方推出了一些数据集和模型,然后让大家可以去蒸馏。
R ONE出来的时候,它直接说我们支持所有人去蒸馏我的开源的这个模型,我甚至官方推出了一些数据集和模型,然后让大家可以去蒸馏。
那蒸馏有很多好处,比如说大家实际需要的是一个非常小的一个,比如说3B的模型。
那蒸馏有很多好处,比如说大家实际需要的是一个非常小的一个,比如说3B的模型。
那你可以把DEEPSEEK某一个方面的能力给蒸馏进去,而且DEEPSEEK是直接给你开放LOGIC的。
那你可以把DEEPSEEK某一个方面的能力给蒸馏进去,而且DEEPSEEK是直接给你开放LOGIC的。
所以你想要去做传统意义上的蒸馏,你是完全没有问题的。
所以你想要去做传统意义上的蒸馏,你是完全没有问题的。
KIMI也是一样,就是它其实在LICENSE里面并没有明确的限制说你不能把这个开源模型的输出用作提高其他的跟它竞争的这个模型。
KIMI也是一样,就是它其实在LICENSE里面并没有明确的限制说你不能把这个开源模型的输出用作提高其他的跟它竞争的这个模型。
另外一个层面,抛开这个,就是有很多人说蒸馏是什么呢?
另外一个层面,抛开这个,就是有很多人说蒸馏是什么呢?
当我用这个开源模型的时候,这个开源模型会自己说:‘哦,我是CLOUD’。
当我用这个开源模型的时候,这个开源模型会自己说:‘哦,我是CLOUD’。
你问这个开源模型你是谁?
你问这个开源模型你是谁?
你不要加这个SYSTEM PROM。
你不要加这个SYSTEM PROM。
他就会说:‘哦,我是anthropic,我是ChatGPT。
他就会说:‘哦,我是anthropic,我是ChatGPT。
’然后很多人说:‘哦,你一定是在蒸馏这个闭源模型。
’然后很多人说:‘哦,你一定是在蒸馏这个闭源模型。
’实际上这是一个数据污染的问题,在op四点七的时候,我记得如果你把system prompt拿掉,然后你用中文去问他说你是谁的时候,他会说自己是千问。
’实际上这是一个数据污染的问题,在op四点七的时候,我记得如果你把system prompt拿掉,然后你用中文去问他说你是谁的时候,他会说自己是千问。
其实也就是一个数据污染的问题,因为各种模型的输出已经在互联网上大量的存在了,所以这些模型在预训练的时候会学到各种不同的身份,导致他意识有点点错乱。
其实也就是一个数据污染的问题,因为各种模型的输出已经在互联网上大量的存在了,所以这些模型在预训练的时候会学到各种不同的身份,导致他意识有点点错乱。
那解决办法就是你在SYSTEM PRO里面很明确地跟他说你是谁,也针对性地做一些微调和训练。
那解决办法就是你在SYSTEM PRO里面很明确地跟他说你是谁,也针对性地做一些微调和训练。
但是这个问题肯定是没有办法完全得到解决的,总会有一些情况下这个模型会对自己是谁的这个认知有一个错乱。
但是这个问题肯定是没有办法完全得到解决的,总会有一些情况下这个模型会对自己是谁的这个认知有一个错乱。
我并不觉得说它是一个蒸馏的问题,说回来K3有没有蒸馏的这个事情?
我并不觉得说它是一个蒸馏的问题,说回来K3有没有蒸馏的这个事情?
那我为什么相信它并没有蒸馏,是因为蒸馏是一个训练的过程,它是你在训练的时候去学习另外一个模型的表现。
那我为什么相信它并没有蒸馏,是因为蒸馏是一个训练的过程,它是你在训练的时候去学习另外一个模型的表现。
你学的这个过程实际上是非常漫长的,就是一个经典的这个模型训练可能需要三个月。
你学的这个过程实际上是非常漫长的,就是一个经典的这个模型训练可能需要三个月。
那它绝对不可能在比如说十多天就积累到足够多的语料然后去学习。
那它绝对不可能在比如说十多天就积累到足够多的语料然后去学习。
然后另外一点,为什么开源模型其实很难从闭源模型蒸馏?
然后另外一点,为什么开源模型其实很难从闭源模型蒸馏?
是因为闭源模型不给你暴露它的思维链。
是因为闭源模型不给你暴露它的思维链。
就闭源模型蒸馏开源模型是非常非常容易的,因为开源模型已经把所有LOGIC、所有的思维链全都暴露出来,所以闭源模型想要去追完全没有问题。
就闭源模型蒸馏开源模型是非常非常容易的,因为开源模型已经把所有LOGIC、所有的思维链全都暴露出来,所以闭源模型想要去追完全没有问题。
但是开源模型,如果他们真的在蒸馏,并且想蒸馏这个闭源模型的话,实际上是很难、很难的。
但是开源模型,如果他们真的在蒸馏,并且想蒸馏这个闭源模型的话,实际上是很难、很难的。
他又不给你暴露逻辑,又不给你暴露思维链,他只给你暴露最终的结果。
他又不给你暴露逻辑,又不给你暴露思维链,他只给你暴露最终的结果。
如果说我们看到一个人做事情的结果,我们就能学会他内心怎么想的话,那我们人类社会互相学习也太容易了。
如果说我们看到一个人做事情的结果,我们就能学会他内心怎么想的话,那我们人类社会互相学习也太容易了。
包括我们再去向某些人学习的时候,我们需要打开他的内心,知道他内心是怎么想的。
包括我们再去向某些人学习的时候,我们需要打开他的内心,知道他内心是怎么想的。
我们只看他的结果,实际上是很难学会他的行为。
我们只看他的结果,实际上是很难学会他的行为。
所以闭源模型不暴露它的思维链就导致闭源模型非常难被蒸馏那我们也很难通过闭源模型来提高开源模型的一些能力。
所以闭源模型不暴露它的思维链就导致闭源模型非常难被蒸馏那我们也很难通过闭源模型来提高开源模型的一些能力。
比如说我们从这些前沿实验室anthropic和OpenAI的角度来看他们对于蒸馏的担心你觉得是出自什么样的证据也好或者他们的经验也好呢我们怎么样去理解他们最近的这些指控。
比如说我们从这些前沿实验室anthropic和OpenAI的角度来看他们对于蒸馏的担心你觉得是出自什么样的证据也好或者他们的经验也好呢我们怎么样去理解他们最近的这些指控。
呢我觉得抛出蒸馏这个概念的人其实不见得是技术圈的人。
呢我觉得抛出蒸馏这个概念的人其实不见得是技术圈的人。
每个公司肯定都是有不同背景的人,那大家竞争或者是怎么样,他肯定是有一些方向和战略。
每个公司肯定都是有不同背景的人,那大家竞争或者是怎么样,他肯定是有一些方向和战略。
那不见得说是技术圈的一个蒸馏的指控,可能更多的是一个比如说商业目的啊,或者是给大家一些预先的植入,就是说啊,其实开源模型没有那么好啊,它都是蒸馏闭源模型蒸出来的,或者是怎么样,你也很难抓到一个具体的事实去说啊,你确实是在蒸馏。
那不见得说是技术圈的一个蒸馏的指控,可能更多的是一个比如说商业目的啊,或者是给大家一些预先的植入,就是说啊,其实开源模型没有那么好啊,它都是蒸馏闭源模型蒸出来的,或者是怎么样,你也很难抓到一个具体的事实去说啊,你确实是在蒸馏。
其实我觉得这些闭源厂商借着蒸馏这个名号,其实也做了很多很夸张的事情,比如说。
其实我觉得这些闭源厂商借着蒸馏这个名号,其实也做了很多很夸张的事情,比如说。
他们曾经把几万个账号被质疑是在蒸馏数据的这个账号给关掉,那其实本质上就说明他们实际上在看所有用户的数据。
他们曾经把几万个账号被质疑是在蒸馏数据的这个账号给关掉,那其实本质上就说明他们实际上在看所有用户的数据。
他们才知道他觉得谁在蒸馏,所以我觉得整个这个事情其实就有点像是所谓的这种国家安全的自我强化的一个预言。
他们才知道他觉得谁在蒸馏,所以我觉得整个这个事情其实就有点像是所谓的这种国家安全的自我强化的一个预言。
那你总要有一个靶子,然后你去照着这个靶子去打,说不定能够草打兔子,然后找到一些什么东西。
那你总要有一个靶子,然后你去照着这个靶子去打,说不定能够草打兔子,然后找到一些什么东西。
如果能出一些社会影响力当然好,如果出不了,那也就这样对吧?
如果能出一些社会影响力当然好,如果出不了,那也就这样对吧?
技术圈其实一直对大家的蒸馏的这个说法有很多质疑。
技术圈其实一直对大家的蒸馏的这个说法有很多质疑。
但是也就这样了。
但是也就这样了。
蒸馏本身是一个中性词,但现在蒸馏已经变成了一个贬义词。
蒸馏本身是一个中性词,但现在蒸馏已经变成了一个贬义词。
但事实上呢,蒸馏本身呢,首先它是一个很标准的一个技术,所有的公司包括OpenAI呀、GOOGLE啊、SOLAR,大家其实都在用大模型蒸馏各种小模型,这都是已经存在的嘛。
但事实上呢,蒸馏本身呢,首先它是一个很标准的一个技术,所有的公司包括OpenAI呀、GOOGLE啊、SOLAR,大家其实都在用大模型蒸馏各种小模型,这都是已经存在的嘛。
第二个误解呢,就是把模型能力完全归结于蒸馏。
第二个误解呢,就是把模型能力完全归结于蒸馏。
就模型只要是比较好了,它就全都是因为蒸馏。
就模型只要是比较好了,它就全都是因为蒸馏。
但事实上不是的嘛?
但事实上不是的嘛?
如果这么简单的话,那所有人就随便就训练出来一个模型了。
如果这么简单的话,那所有人就随便就训练出来一个模型了。
那这里面它的强化学习啊、数据工程啊、架构的各种创新啊,包括最开始DEEPSEEK所做的很多东西啊,这是一个非常复杂的问题。
那这里面它的强化学习啊、数据工程啊、架构的各种创新啊,包括最开始DEEPSEEK所做的很多东西啊,这是一个非常复杂的问题。
蒸馏呢,可以让你很快地去达到一个及格线。
蒸馏呢,可以让你很快地去达到一个及格线。
而像KIMI三呢,它其实已经远远超过及格线了嘛。
而像KIMI三呢,它其实已经远远超过及格线了嘛。
因为蒸馏它能省的呢,一个是比如说是算力;第二个呢,数据标注上其实可以省不少的一块儿的东西的。
因为蒸馏它能省的呢,一个是比如说是算力;第二个呢,数据标注上其实可以省不少的一块儿的东西的。
当然还有时间,它的迭代啊、什么各种周期也可以变得更快。
当然还有时间,它的迭代啊、什么各种周期也可以变得更快。
以及呢,很大的一个挑战就是对齐嘛。
以及呢,很大的一个挑战就是对齐嘛。
但是从本质上,它无法实现超越或者是达到一个上限的。
但是从本质上,它无法实现超越或者是达到一个上限的。
所以呢,目前呢,很多时候关于争论的讨论呢,它其实是会落在法律和商业的伦理层面,而不是一个技术层面的讨论了啊。
所以呢,目前呢,很多时候关于争论的讨论呢,它其实是会落在法律和商业的伦理层面,而不是一个技术层面的讨论了啊。
因为几种情况被认为越界的话,它不是一个技术的越界,而是比如说它违反了模型的服务条款。
因为几种情况被认为越界的话,它不是一个技术的越界,而是比如说它违反了模型的服务条款。
第二点呢,可能就是规模化或者系统化的用对方的API去提取大量的训练信号。
第二点呢,可能就是规模化或者系统化的用对方的API去提取大量的训练信号。
第三个呢,可能就是涉及到这个模型的权重啊、商业机密,直接窃取了关于KIMI是不是蒸馏嘛?
第三个呢,可能就是涉及到这个模型的权重啊、商业机密,直接窃取了关于KIMI是不是蒸馏嘛?
或者说中国的OPEN SOURCE这些模型,大家是不是蒸馏这个情况嘛?
或者说中国的OPEN SOURCE这些模型,大家是不是蒸馏这个情况嘛?
我认为就是因为这是一个非常抽象的概念,它又被简化为一个抄袭。
我认为就是因为这是一个非常抽象的概念,它又被简化为一个抄袭。
所以其实好多的主张是混合到一起了,我们应该把它给拆开来看。
所以其实好多的主张是混合到一起了,我们应该把它给拆开来看。
第一个呢,有没有中国的一些实验室可能是不是系统性的?
第一个呢,有没有中国的一些实验室可能是不是系统性的?
没有经过授权调用了,比如说包括cloud在内的这类的frontier models,他们的API去提取训练信号。
没有经过授权调用了,比如说包括cloud在内的这类的frontier models,他们的API去提取训练信号。
很多的证据其实围绕在这里的,比如说账号的大规模的自动化请求啊、各种调用啊,这个是可以被检测系统所抓到的。
很多的证据其实围绕在这里的,比如说账号的大规模的自动化请求啊、各种调用啊,这个是可以被检测系统所抓到的。
但第2层呢,很多的一些指控呢,比如说K3呢,是靠蒸馏飞博五拿到的呀什么的,这个是证据非常薄弱的。
但第2层呢,很多的一些指控呢,比如说K3呢,是靠蒸馏飞博五拿到的呀什么的,这个是证据非常薄弱的。
时间上来看嘛,就飞博五的话,它是7月初吧,1号还是2号刚开始的。
时间上来看嘛,就飞博五的话,它是7月初吧,1号还是2号刚开始的。
中间其实很短的,要在两周的左右的时间把一个千言模型换成另外一个训练数据。
中间其实很短的,要在两周的左右的时间把一个千言模型换成另外一个训练数据。
整个跑这个其实是极其困难的一个事情。
整个跑这个其实是极其困难的一个事情。
第三点呢,蒸馏这件事情本身让这些开源模型啊,包括KIMI三在内的所做的成就吧,是不是就不MAKE SENSE了?
第三点呢,蒸馏这件事情本身让这些开源模型啊,包括KIMI三在内的所做的成就吧,是不是就不MAKE SENSE了?
这个我认为是一个错误的观点,因为蒸馏就是一个比较久的一个技术。
这个我认为是一个错误的观点,因为蒸馏就是一个比较久的一个技术。
模型输出本身呢,它很多时候不受传统版权法保护。
模型输出本身呢,它很多时候不受传统版权法保护。
从这个角度的话,它其实还做了很多东西的。
从这个角度的话,它其实还做了很多东西的。
它本身的话,还是实现了很多技术上啊,包括各方面的一些推动和革命的。
它本身的话,还是实现了很多技术上啊,包括各方面的一些推动和革命的。
就算可能有一些这个LAB再去蒸馏,其实中国模型开源模型的成功,实际上可能有比如说十个理由,包括刚才我们说到模型架构,包括INFRA上面的一些工作,包括一些中文数据的一些工作等等。
就算可能有一些这个LAB再去蒸馏,其实中国模型开源模型的成功,实际上可能有比如说十个理由,包括刚才我们说到模型架构,包括INFRA上面的一些工作,包括一些中文数据的一些工作等等。
其实可能都是非常重要的点。
其实可能都是非常重要的点。
如果说美国的这些前沿的这个lab只关注蒸馏一点的话,其实他们有点只见树木不见森林,可能会完全忽略掉中国模型在其他方面的先进性。
如果说美国的这些前沿的这个lab只关注蒸馏一点的话,其实他们有点只见树木不见森林,可能会完全忽略掉中国模型在其他方面的先进性。
这是因为涉及到法律或者是商业上的一个伦理道德的很多东西,所以这个其实很难做出一个具体的说是不是这样的一个判断。
这是因为涉及到法律或者是商业上的一个伦理道德的很多东西,所以这个其实很难做出一个具体的说是不是这样的一个判断。
但是我感觉目前所有的证据呢,应该倾向于指向的是可能会存在一些没有授权的大规模的数据抓取行为。
但是我感觉目前所有的证据呢,应该倾向于指向的是可能会存在一些没有授权的大规模的数据抓取行为。
但并不代表说能得到的结论说KIMI三呢,包括其他在内,他们的核心能力来自于蒸馏,尤其是蒸馏FABLE。
但并不代表说能得到的结论说KIMI三呢,包括其他在内,他们的核心能力来自于蒸馏,尤其是蒸馏FABLE。
这两个是不同的事情。
这两个是不同的事情。
是的,是的,我觉得这里两位都回答了两个核心问题嘛:一个是到底有没有蒸馏?
是的,是的,我觉得这里两位都回答了两个核心问题嘛:一个是到底有没有蒸馏?
第二个是蒸馏构不构成这个模型的核心能力?
第二个是蒸馏构不构成这个模型的核心能力?
我觉得是非常好的总结。
我觉得是非常好的总结。
其实我想再从K三的角度来看一下这件事情。
其实我想再从K三的角度来看一下这件事情。
其实铁证你提到了K三的这样一个商业授权模式,我觉得也是这次技术报告放出之后特别有意思的一个点。
其实铁证你提到了K三的这样一个商业授权模式,我觉得也是这次技术报告放出之后特别有意思的一个点。
KIMI,它使用的是一个单独的KIMI K3 LICENSE。
KIMI,它使用的是一个单独的KIMI K3 LICENSE。
它规定呢,如果一家公司它卖的是模型,并且公司以及它的关联方在连续12个月内的总收入超过2000万美元,或者说这个公司它在把K3和它的衍生模型用于商业服务之前,需要和月之暗面另外签署一个协议嘛?
它规定呢,如果一家公司它卖的是模型,并且公司以及它的关联方在连续12个月内的总收入超过2000万美元,或者说这个公司它在把K3和它的衍生模型用于商业服务之前,需要和月之暗面另外签署一个协议嘛?
而且这个MODEL AS SERVICE,就是对于这类模型公司的定义,不包括嵌入具体产品功能的终端应用。
而且这个MODEL AS SERVICE,就是对于这类模型公司的定义,不包括嵌入具体产品功能的终端应用。
其他的,就是内部使用月之暗面官方产品和其他的合作伙伴也不包括在内嘛。
其他的,就是内部使用月之暗面官方产品和其他的合作伙伴也不包括在内嘛。
这样一个商业授权协议体现出了KIMI商业化上的一个什么样的趋势吧?
这样一个商业授权协议体现出了KIMI商业化上的一个什么样的趋势吧?
然后以及我们之前有没有看到过这样的一协议?
然后以及我们之前有没有看到过这样的一协议?
第一个我觉得赚钱的开源模型才是好的开源模型,这个事情可以有几个佐证。
第一个我觉得赚钱的开源模型才是好的开源模型,这个事情可以有几个佐证。
第一个比如说之前我们看文生图模型领域的翘楚,这个STABLE DIFFUSION,但是后面是。
第一个比如说之前我们看文生图模型领域的翘楚,这个STABLE DIFFUSION,但是后面是。
有 STABILITY 这个公司研发的,它这个模型一直没有办法赚到足够多的钱,所以就渐渐销声匿迹了。
有 STABILITY 这个公司研发的,它这个模型一直没有办法赚到足够多的钱,所以就渐渐销声匿迹了。
第二个就是千问,千问可能也是因为开源做得很好,但是商业化做得不好,所以我一直觉得能够赚钱的开源模型才是可持续的,开源模型才是可以让我们一直享受下一代开源模型的这么一个模型。
第二个就是千问,千问可能也是因为开源做得很好,但是商业化做得不好,所以我一直觉得能够赚钱的开源模型才是可持续的,开源模型才是可以让我们一直享受下一代开源模型的这么一个模型。
第二个就是这个 LICENSE 赚钱这个事情,其实 KIMI 不是第一个提出来的。
第二个就是这个 LICENSE 赚钱这个事情,其实 KIMI 不是第一个提出来的。
当年的开源模型的祖师爷拉玛,他们当时在LICENSE里面也有一个限制。
当年的开源模型的祖师爷拉玛,他们当时在LICENSE里面也有一个限制。
当时大家不是特别清楚具体他这些东西要怎么执行,那KIMI这一次呢,就把具体执行的这个内容都给写得很清楚,也是比较可操作的。
当时大家不是特别清楚具体他这些东西要怎么执行,那KIMI这一次呢,就把具体执行的这个内容都给写得很清楚,也是比较可操作的。
我觉得这是实际上是一个LICENSE法律或者是商务层面的一个进步。
我觉得这是实际上是一个LICENSE法律或者是商务层面的一个进步。
第三个就是他现在把这个东西写清楚之后,很多专门做模型推理和云厂商。
第三个就是他现在把这个东西写清楚之后,很多专门做模型推理和云厂商。
实际上没有办法去 TAKE FREE RIDE,因为之前很多开源的一些数据库的项目。
实际上没有办法去 TAKE FREE RIDE,因为之前很多开源的一些数据库的项目。
其实他最担心的就是云厂商没有出工、没有出力,然后拿这个开源项目部署在自己的云上就可以卖钱了。
其实他最担心的就是云厂商没有出工、没有出力,然后拿这个开源项目部署在自己的云上就可以卖钱了。
所以这个 FREE RIDE 这个事情实际上是开源社区一直想要避免的。
所以这个 FREE RIDE 这个事情实际上是开源社区一直想要避免的。
那之前在开源软件时代,大家都想出了很多办法,比如说可以有两个 LICENSE 啊,或者说专门有一个 LICENSE 排除对云厂商和一些专门做线上业务的人的排除。
那之前在开源软件时代,大家都想出了很多办法,比如说可以有两个 LICENSE 啊,或者说专门有一个 LICENSE 排除对云厂商和一些专门做线上业务的人的排除。
那我觉得KIMI也是延续了这个精神,包括MUST场,包括这些云场。
那我觉得KIMI也是延续了这个精神,包括MUST场,包括这些云场。
他们需要在自己通过开源模型赚到的钱里面给KIMI做一些分成,我觉得这也是非常非常合理的。
他们需要在自己通过开源模型赚到的钱里面给KIMI做一些分成,我觉得这也是非常非常合理的。
可能是一个反常识的观点,就是云场和这个MUST场实际上应该是非常欢迎KIMI找他来收钱的,因为只要你来收钱,就说明你跟KIMI有一个官方的认证关系。
可能是一个反常识的观点,就是云场和这个MUST场实际上应该是非常欢迎KIMI找他来收钱的,因为只要你来收钱,就说明你跟KIMI有一个官方的认证关系。
大家如果去看KIMI的官方的一些发布,它实际上是有一套VENDOR VERIFICATION的流程的,就是你只有过了这个流程。
大家如果去看KIMI的官方的一些发布,它实际上是有一套VENDOR VERIFICATION的流程的,就是你只有过了这个流程。
你卖出来的TOKEN才能被证明说是好的TOKEN,包括准确性啊、包括性能啊,都是有保障的。
你卖出来的TOKEN才能被证明说是好的TOKEN,包括准确性啊、包括性能啊,都是有保障的。
如果你连这个WONDERFUL VERIFICATION都没有过,你都没有给KIMI付钱,你都不是KIMI的官方合作伙伴,那大家可能也不愿意去采买你的TOKEN。
如果你连这个WONDERFUL VERIFICATION都没有过,你都没有给KIMI付钱,你都不是KIMI的官方合作伙伴,那大家可能也不愿意去采买你的TOKEN。
从MARKETING角度说,那另外一点就是其实这些MASS厂和云厂,包括一些小的专门卖推理的公司,其实它整个的BUSINESS都建立在他们能拿到不限量的开源模型,并且。
从MARKETING角度说,那另外一点就是其实这些MASS厂和云厂,包括一些小的专门卖推理的公司,其实它整个的BUSINESS都建立在他们能拿到不限量的开源模型,并且。
不停地用开源模型做推理,卖给他的客户。
不停地用开源模型做推理,卖给他的客户。
这个点上,所以他们也非常希望开源模型的生态是一波接一波、持续不断的。
这个点上,所以他们也非常希望开源模型的生态是一波接一波、持续不断的。
他也希望这些开源模型公司是能够赚到钱的,不然如果有一天大家都不开源了,那这些比如说拿了很多融资的专门做推理的厂,或者是买了很多卡然后想要自己做推理的NEURAL LAB,它的整个BUSINESS LOGIC就不成立了。
他也希望这些开源模型公司是能够赚到钱的,不然如果有一天大家都不开源了,那这些比如说拿了很多融资的专门做推理的厂,或者是买了很多卡然后想要自己做推理的NEURAL LAB,它的整个BUSINESS LOGIC就不成立了。
所以说现在有一个能够让大家整个生态持续发展的方式呢?
所以说现在有一个能够让大家整个生态持续发展的方式呢?
大家应该都是非常非常欢迎的。
大家应该都是非常非常欢迎的。
我相信这个应该不是第一个尝试这方面 LICENSE 的公司,KIMI 之前 MINI MAX 其实也做过一些尝试,后面我们应该也能看到更多的企业做更多不同的尝试。
我相信这个应该不是第一个尝试这方面 LICENSE 的公司,KIMI 之前 MINI MAX 其实也做过一些尝试,后面我们应该也能看到更多的企业做更多不同的尝试。
我们能不能稍微和别的中国的开源厂商做一下对比?
我们能不能稍微和别的中国的开源厂商做一下对比?
比如说我理解千问的这个商业模式可能是回到他们的云服务,这个能不能跟我们解释一下哪家厂商有什么不同?
比如说我理解千问的这个商业模式可能是回到他们的云服务,这个能不能跟我们解释一下哪家厂商有什么不同?
千问的商业模式肯定是绑定阿里云,但这只是过去的一个状态。
千问的商业模式肯定是绑定阿里云,但这只是过去的一个状态。
如果说听你的这个LICENSE转变是很成功,大家也都愿意付这个钱,并且产生更紧密的整个生态的一个连接的话,那我相信其他家去复制这个模式也不是一个不可能的事情。
如果说听你的这个LICENSE转变是很成功,大家也都愿意付这个钱,并且产生更紧密的整个生态的一个连接的话,那我相信其他家去复制这个模式也不是一个不可能的事情。
其实这个逻辑本身是不新的,比如说从早年的MONGODB啊、ELASTIC啊,其实大家都做的差不多,因为那会儿云厂商大家很多时候都做白嫖嘛,所以整个这个逻辑就MIT啊、PATCH啊,都是在这种情况下出生的。
其实这个逻辑本身是不新的,比如说从早年的MONGODB啊、ELASTIC啊,其实大家都做的差不多,因为那会儿云厂商大家很多时候都做白嫖嘛,所以整个这个逻辑就MIT啊、PATCH啊,都是在这种情况下出生的。
包括 LAMA,其实也是这样的嘛。
包括 LAMA,其实也是这样的嘛。
它的整个这个逻辑也是对着当时非常大的 Microsoft 啊、Amazon 啊等等 AWS 这样的东西来设计的。
它的整个这个逻辑也是对着当时非常大的 Microsoft 啊、Amazon 啊等等 AWS 这样的东西来设计的。
所以其实 KIMI 的整个这个设计呢,应该是两块儿。
所以其实 KIMI 的整个这个设计呢,应该是两块儿。
第一块儿呢,就是一个云厂商,因为其实你可以想象像现在非常火的 Together AI 啊、Fireworks 啊,其实大家核心都是靠这些开源模型来赚很多钱嘛。
第一块儿呢,就是一个云厂商,因为其实你可以想象像现在非常火的 Together AI 啊、Fireworks 啊,其实大家核心都是靠这些开源模型来赚很多钱嘛。
那这是一份中间商的差价。
那这是一份中间商的差价。
第二一部分呢,其实就是终端应用方。
第二一部分呢,其实就是终端应用方。
那也就是涉及到了比如说CURSOR啊之类的,它是一个终端的时候,那你的这个情况应该怎么样?
那也就是涉及到了比如说CURSOR啊之类的,它是一个终端的时候,那你的这个情况应该怎么样?
这个其实已经是一个非常细化的了。
这个其实已经是一个非常细化的了。
那这个其实就回到呢和闭源模型啊,或者闭源整个这个FRONTIER LABS在打仗的这样的一个场景里来去看。
那这个其实就回到呢和闭源模型啊,或者闭源整个这个FRONTIER LABS在打仗的这样的一个场景里来去看。
比如说MOONSHOT,它现在核心的应该是靠开源的这样一个逻辑去铺量嘛。
比如说MOONSHOT,它现在核心的应该是靠开源的这样一个逻辑去铺量嘛。
去挤压,包括婚AI呀、ETHNIC这样的一些生存生态或者生存方式,以及形成一个新的心智上的占领。
去挤压,包括婚AI呀、ETHNIC这样的一些生存生态或者生存方式,以及形成一个新的心智上的占领。
但是呢,与此同时呢,这个事情也是非常新,因为跟过去CLOUD不一样,现在的情况下,它已经没有办法自己去能承担得住这种一代又一代模型迭代训练成本了。
但是呢,与此同时呢,这个事情也是非常新,因为跟过去CLOUD不一样,现在的情况下,它已经没有办法自己去能承担得住这种一代又一代模型迭代训练成本了。
所以,如何能保证开源这样的一个大的叙事?
所以,如何能保证开源这样的一个大的叙事?
但同时呢,又不能就把自己最好吃的蛋的糕交给大家随便去白嫖。
但同时呢,又不能就把自己最好吃的蛋的糕交给大家随便去白嫖。
这种情况应该怎么打?
这种情况应该怎么打?
所以这目前来说,这是一个相对妥协的一个结果。
所以这目前来说,这是一个相对妥协的一个结果。
但是最难的角度呢,就是落地、执行情况。
但是最难的角度呢,就是落地、执行情况。
你怎么去知道一家非中国本土的公司在过去的营收达到比如2000万美金,这应该是一个坎儿嘛?
你怎么去知道一家非中国本土的公司在过去的营收达到比如2000万美金,这应该是一个坎儿嘛?
那怎么去衡量呢?
那怎么去衡量呢?
然后就很多公司,它本来就是AI native公司,你也不知道它赚多少钱。
然后就很多公司,它本来就是AI native公司,你也不知道它赚多少钱。
这是打官司到时候他因为这是现在是自觉申报嘛那申报这个东西像像科斯这种是容易看到的那很多公司你怎么去看呢打官司跨境执法怎么办这东西从传统的角度都没有去解决的事情在今天这个AI的行业里怎么去解决呢其实有很多很多的灰色地带的这个其实是一个非常难以去界定的事情在我看来。
这是打官司到时候他因为这是现在是自觉申报嘛那申报这个东西像像科斯这种是容易看到的那很多公司你怎么去看呢打官司跨境执法怎么办这东西从传统的角度都没有去解决的事情在今天这个AI的行业里怎么去解决呢其实有很多很多的灰色地带的这个其实是一个非常难以去界定的事情在我看来。
那你们觉得这个有什么过去的案例是值得参考的吗。
那你们觉得这个有什么过去的案例是值得参考的吗。
无论是成功或者失败的例子,还是说现在还是一个太新的东西,我们没有办法去衡量。
无论是成功或者失败的例子,还是说现在还是一个太新的东西,我们没有办法去衡量。
确实收钱这个是一个很难的事情,尤其是LICENSE收钱。
确实收钱这个是一个很难的事情,尤其是LICENSE收钱。
就是过去大家一直有抨击说中国的企业,尤其是中国的大厂,他根本不看LICENSE,我只要偷偷的用,然后你找不到证据没关系。
就是过去大家一直有抨击说中国的企业,尤其是中国的大厂,他根本不看LICENSE,我只要偷偷的用,然后你找不到证据没关系。
但是实际上我看到这几年情况在快速的好转,包括阿里,我知道他也是付了很多LICENSE,然后包括一些非常传统的软件,比如说服务器的什么LOAD BALANCE啊什么的。
但是实际上我看到这几年情况在快速的好转,包括阿里,我知道他也是付了很多LICENSE,然后包括一些非常传统的软件,比如说服务器的什么LOAD BALANCE啊什么的。
其实,在国内也都能收上来钱了。
其实,在国内也都能收上来钱了。
其中背后的原因,我觉得有几个:第一个就是说至少这一代程序员大家还是有比较强的给LICENSE付费的一个意识;第二个呢,其实厂家也发现,带着原厂一起去做一些事情,一起去CALL MARKETING,实际上是能给他带来很多好处的。
其中背后的原因,我觉得有几个:第一个就是说至少这一代程序员大家还是有比较强的给LICENSE付费的一个意识;第二个呢,其实厂家也发现,带着原厂一起去做一些事情,一起去CALL MARKETING,实际上是能给他带来很多好处的。
比如说某云厂可能对某功能有一个定制化的需求,他自己不一定能搞得定,或者说他就算自己搞定了。
比如说某云厂可能对某功能有一个定制化的需求,他自己不一定能搞得定,或者说他就算自己搞定了。
它对开源代码的改动是非常有侵入性的,导致开源代码一更新,它这边的所有的模改全都不能工作。
它对开源代码的改动是非常有侵入性的,导致开源代码一更新,它这边的所有的模改全都不能工作。
所以每次更新都是一个非常非常痛苦的过程。
所以每次更新都是一个非常非常痛苦的过程。
这些云厂通过资助这个开源项目或者买它的LICENSE或者加入基金会等等,它可以跟这些原厂有一个非常紧密的连接。
这些云厂通过资助这个开源项目或者买它的LICENSE或者加入基金会等等,它可以跟这些原厂有一个非常紧密的连接。
它可以说OK,我需要你帮我把这个功能推进去。
它可以说OK,我需要你帮我把这个功能推进去。
下次我更新的时候,我就很容易。
下次我更新的时候,我就很容易。
这种事情多了之后,大家就养成一种意识,说:‘那为什么我们不跟原厂搞好关系?
这种事情多了之后,大家就养成一种意识,说:‘那为什么我们不跟原厂搞好关系?
我要偷偷摸摸用,我让原厂来帮我宣传不好吗?
我要偷偷摸摸用,我让原厂来帮我宣传不好吗?
’第三个就是包括LINUX基金会等等这些机构,在国内,比如说通过美国企业的OSPO,就是开源办公室的一些合作,实际上里面很多信息现在是非常透明的,就大家知道谁在用什么,而且这个人员流动也很频繁。
’第三个就是包括LINUX基金会等等这些机构,在国内,比如说通过美国企业的OSPO,就是开源办公室的一些合作,实际上里面很多信息现在是非常透明的,就大家知道谁在用什么,而且这个人员流动也很频繁。
尤其是非常非常大量的使用,然后你想藏住实际上是很难很难的。
尤其是非常非常大量的使用,然后你想藏住实际上是很难很难的。
一旦你被发现有明确的证据链之后,法院也是会支持开源一方,因为这里面已经有一些比较好的判例了。
一旦你被发现有明确的证据链之后,法院也是会支持开源一方,因为这里面已经有一些比较好的判例了。
第四点,我们再回到KIMI的这个LICENSE能不能收上钱来?
第四点,我们再回到KIMI的这个LICENSE能不能收上钱来?
因为我们知道KIMI这个模型实际上是一个非常大的模型,它是一个3T的模型。
因为我们知道KIMI这个模型实际上是一个非常大的模型,它是一个3T的模型。
想要把这个模型在云上面服务好,实际上是很难的。
想要把这个模型在云上面服务好,实际上是很难的。
虽然我们看到像VM、SGM都对它做了一些社区上的支持,但是真正能够把它大规模跑起来,并且有很高的性价比,然后有很高的使用体验,并且把它跑起来,其实全球也没有那么多的机构。
虽然我们看到像VM、SGM都对它做了一些社区上的支持,但是真正能够把它大规模跑起来,并且有很高的性价比,然后有很高的使用体验,并且把它跑起来,其实全球也没有那么多的机构。
第一个你首先要有几百张、几千张、几万张MEDIA的卡,那首先你就是一个要面子,在这个行业里面靠品牌吃饭的一个人。
第一个你首先要有几百张、几千张、几万张MEDIA的卡,那首先你就是一个要面子,在这个行业里面靠品牌吃饭的一个人。
如果你没有一个很好的BRANDING.
如果你没有一个很好的BRANDING.
展开剩余字幕(还有 324 条)
MEDIA甚至不愿意给你卖卡,然后第二个就是你肯定在这个里面投入啊,相当多的人去做所有的推理优化了。
MEDIA甚至不愿意给你卖卡,然后第二个就是你肯定在这个里面投入啊,相当多的人去做所有的推理优化了。
你这个事情你是藏不住的。
你这个事情你是藏不住的。
然后第三个,所有的API的售卖其实大部分都是公开的一个售卖,就是你想要走量达到KIMI的那个量级,你需要自己有一个API然后放出来让大家买一些TOKEN,或者是面向TO B的一些场景,大家能够在你的网站上直接看到说:‘哦,在卖KIMI的TOKEN’。
然后第三个,所有的API的售卖其实大部分都是公开的一个售卖,就是你想要走量达到KIMI的那个量级,你需要自己有一个API然后放出来让大家买一些TOKEN,或者是面向TO B的一些场景,大家能够在你的网站上直接看到说:‘哦,在卖KIMI的TOKEN’。
虽然你可以藏一部分销售的量,我觉得但是大的量你是藏不住的。
虽然你可以藏一部分销售的量,我觉得但是大的量你是藏不住的。
所以综上几点,我非常有信心KIMI能把这个钱收回来。
所以综上几点,我非常有信心KIMI能把这个钱收回来。
肯定是会有一些漏网之鱼,但是应该不影响他们公司的业绩。
肯定是会有一些漏网之鱼,但是应该不影响他们公司的业绩。
如果说MY LICENSE的这个路径被KIMI证明成功,实际上这是比KIMI自己去做推理要好得多的一个商业模式。
如果说MY LICENSE的这个路径被KIMI证明成功,实际上这是比KIMI自己去做推理要好得多的一个商业模式。
这就是五本万利,你只要把模型做好,大家都直接给你上供,你连自己买卡或者是怎么样都不太需要,尤其是中国企业可能在买卡上还去面临一些挑战。
这就是五本万利,你只要把模型做好,大家都直接给你上供,你连自己买卡或者是怎么样都不太需要,尤其是中国企业可能在买卡上还去面临一些挑战。
个人情感上,我也希望说KIMI这条路径能够走通哦。
个人情感上,我也希望说KIMI这条路径能够走通哦。
我觉得这个非常有意思,而且其实这是一个很好的过渡啊。
我觉得这个非常有意思,而且其实这是一个很好的过渡啊。
如果说LICENSE这一套模式可以走通的话,它会对闭源实验室的收入模式造成什么样的影响呢?
如果说LICENSE这一套模式可以走通的话,它会对闭源实验室的收入模式造成什么样的影响呢?
我觉得第一波影响应该是估值体系。
我觉得第一波影响应该是估值体系。
今年ChatGPT和ANTHROPIC都要上市嘛,OpenAI和ANTHROPIC上市的时候,大家就会问你这公司到底值多少钱,在开源模型追平FABLE之前,大家会觉得。
今年ChatGPT和ANTHROPIC都要上市嘛,OpenAI和ANTHROPIC上市的时候,大家就会问你这公司到底值多少钱,在开源模型追平FABLE之前,大家会觉得。
闭源模型,它的模型本身是一个非常有价值、非常有稀缺性、非常值得溢价,甚至是垄断性的一个东西。
闭源模型,它的模型本身是一个非常有价值、非常有稀缺性、非常值得溢价,甚至是垄断性的一个东西。
我记得前几天看到一个笑话,就是有一个HACKSON,在HACKSON运行的中间,ChatGPT的服务器断线了,然后就没有人在HACKSON去搞东西了,因为大家都、大家都智能被断供了,大家都没有办法继续去做这个事情。
我记得前几天看到一个笑话,就是有一个HACKSON,在HACKSON运行的中间,ChatGPT的服务器断线了,然后就没有人在HACKSON去搞东西了,因为大家都、大家都智能被断供了,大家都没有办法继续去做这个事情。
所以它垄断智能这个事情,实际上是比垄断任何商品威力要恐怖得多、得多、得多。
所以它垄断智能这个事情,实际上是比垄断任何商品威力要恐怖得多、得多、得多。
所以它天然就值得万亿的市值。
所以它天然就值得万亿的市值。
但是有一天大家发现,诶,好像竞争变多了,好像不止这几家可以训练模型,好像很多家都可以训练模型。
但是有一天大家发现,诶,好像竞争变多了,好像不止这几家可以训练模型,好像很多家都可以训练模型。
有了开源模型之后,非常聪明的模型变成了一个流通的商品,甚至是被平民化,变成一个社会的基础服务。
有了开源模型之后,非常聪明的模型变成了一个流通的商品,甚至是被平民化,变成一个社会的基础服务。
那这个时候你再去想OpenAI和ANTHROPIC的价值。
那这个时候你再去想OpenAI和ANTHROPIC的价值。
可能就要稍微打一个问号,大家就会问说:诶,那你商业化到底能做到什么样程度?
可能就要稍微打一个问号,大家就会问说:诶,那你商业化到底能做到什么样程度?
有多少企业愿意在这种开源模型已经遍地开花的情况下,还愿意付钱买你的闭源模型?
有多少企业愿意在这种开源模型已经遍地开花的情况下,还愿意付钱买你的闭源模型?
闭源模型你商业的MARGIN能做到什么样?
闭源模型你商业的MARGIN能做到什么样?
然后你后面发展的这个SKINNING LAW,我是不是还可以投无限的钱让你去无限扩展?
然后你后面发展的这个SKINNING LAW,我是不是还可以投无限的钱让你去无限扩展?
还是说你现在要抓紧去想一想,怎么样让你TOKEN的这个EFFICIENCY更高?
还是说你现在要抓紧去想一想,怎么样让你TOKEN的这个EFFICIENCY更高?
所以整个这些东西压下来,这个饼就没有那么容易画得圆。
所以整个这些东西压下来,这个饼就没有那么容易画得圆。
估值体系肯定是会受到一定的压力的。
估值体系肯定是会受到一定的压力的。
第二个就是说,如果说未来所有美国的这个NEO CLOUD都变成ANTHROPIC和ChatGPT的竞争对手,因为他们天然就有开源模型,哪怕交一点LICENSE,他们还是能赚钱。
第二个就是说,如果说未来所有美国的这个NEO CLOUD都变成ANTHROPIC和ChatGPT的竞争对手,因为他们天然就有开源模型,哪怕交一点LICENSE,他们还是能赚钱。
比数据中心低价卖给ANTHROPIC,还是要赚很多钱的。
比数据中心低价卖给ANTHROPIC,还是要赚很多钱的。
这时候就会发现OpenAI和ANTHROPIC的业务其实很难再有爆炸性的推进了,因为所有的这个NEO CLOUD他们之间可以互相卷价格,它可以把TOKEN价格压到很低,甚至。
这时候就会发现OpenAI和ANTHROPIC的业务其实很难再有爆炸性的推进了,因为所有的这个NEO CLOUD他们之间可以互相卷价格,它可以把TOKEN价格压到很低,甚至。
有的人可能是通过一些资本市场的手段,让数据中心的成本在资本开支里面去AMORTIZE。
有的人可能是通过一些资本市场的手段,让数据中心的成本在资本开支里面去AMORTIZE。
它的TOKEN可以卖得很便宜,这样的情况下OpenAI和ANTHROPIC会不会被动地陷入一种价格战?
它的TOKEN可以卖得很便宜,这样的情况下OpenAI和ANTHROPIC会不会被动地陷入一种价格战?
其实我们已经看到,以前ANTHROPIC和ChatGPT它是很高傲的,它说封你号就封你号。
其实我们已经看到,以前ANTHROPIC和ChatGPT它是很高傲的,它说封你号就封你号。
前几个月前我们就看到是这样,后面ChatGPT为了做一些商业的手段,开始了国内外卖送券的这个模式。
前几个月前我们就看到是这样,后面ChatGPT为了做一些商业的手段,开始了国内外卖送券的这个模式。
不定期的给大家发一些重置券,这就已经开始一些很商业化,可能会损害公司的MARGIN,但是圈更多用户的一个手段。
不定期的给大家发一些重置券,这就已经开始一些很商业化,可能会损害公司的MARGIN,但是圈更多用户的一个手段。
而且我们看到ANOTHER最近封号也变得没有那么疯狂,可能最后大家为了业绩,可能对很多号的管理也没有那么严谨了,最后都会反映到他们的财报上面,都会反映到市场的竞争里面。
而且我们看到ANOTHER最近封号也变得没有那么疯狂,可能最后大家为了业绩,可能对很多号的管理也没有那么严谨了,最后都会反映到他们的财报上面,都会反映到市场的竞争里面。
所以我觉得开源模型的普及实际上是对他们造成了一些困扰的。
所以我觉得开源模型的普及实际上是对他们造成了一些困扰的。
我觉得这也是为什么他们可能会想要提议说禁用开源模型,或者是在法律和市场层面去给潜在的竞争对手造成一些阻碍的原因。
我觉得这也是为什么他们可能会想要提议说禁用开源模型,或者是在法律和市场层面去给潜在的竞争对手造成一些阻碍的原因。
最近有一个背景就是美国的一大批科技公司还有一些机构签署了这样一份公开信,这份公开信的名字叫做《开放权重和美国AI领导力》,这个是黄仁勋加入X之后发的第一篇推文,所以也造成了很大的影响。
最近有一个背景就是美国的一大批科技公司还有一些机构签署了这样一份公开信,这份公开信的名字叫做《开放权重和美国AI领导力》,这个是黄仁勋加入X之后发的第一篇推文,所以也造成了很大的影响。
这个应该是在上周五,就是7月24号的时候。
这个应该是在上周五,就是7月24号的时候。
应该有25家公司还有个人和机构签署了这封公开信,在几天的发酵之后,大概是达到75家。
应该有25家公司还有个人和机构签署了这封公开信,在几天的发酵之后,大概是达到75家。
这其中呢,anthropic 是一直没有签这份公开信的。
这其中呢,anthropic 是一直没有签这份公开信的。
当然今天 dary moday 刚发表了一篇他自己的文章,然后也解释了就是 anthropic 对于开放权重这件事情的一个看法。
当然今天 dary moday 刚发表了一篇他自己的文章,然后也解释了就是 anthropic 对于开放权重这件事情的一个看法。
所以我觉得这个立场其实特别有意思哈,然后我们又在这个背景之下去讨论。
所以我觉得这个立场其实特别有意思哈,然后我们又在这个背景之下去讨论。
他们的商业利益的关系,所以我觉得也是形成了这样一个冲突吧。
他们的商业利益的关系,所以我觉得也是形成了这样一个冲突吧。
在这个背景之下,能不能请两位再给我们分析一下Anthropic现在他的立场是什么样的?
在这个背景之下,能不能请两位再给我们分析一下Anthropic现在他的立场是什么样的?
这个闭源实验室到底在这波开源模型中受到了什么样的冲击?
这个闭源实验室到底在这波开源模型中受到了什么样的冲击?
其实这个公开信我自己感觉啊,因为它整个核心就是关于要不要开源或者应不应该接受开源开放的一个生态和一个闭源的生态,它的商业逻辑从根本上其实就是应该是一个对立的。
其实这个公开信我自己感觉啊,因为它整个核心就是关于要不要开源或者应不应该接受开源开放的一个生态和一个闭源的生态,它的商业逻辑从根本上其实就是应该是一个对立的。
开源模型,它每一次的开放啊,肯定都会给专门是卖API这个COST整个的闭源的这个带来一个巨大的冲击嘛。
开源模型,它每一次的开放啊,肯定都会给专门是卖API这个COST整个的闭源的这个带来一个巨大的冲击嘛。
这是黄仁勋所被指责的一个点嘛。
这是黄仁勋所被指责的一个点嘛。
MEDIA其实从芯片啊和基础设施这个角度来看,那肯定是每个人都能自由搭建一个最好,这样的话他就可以卖出更多的铲子,因为他并不在乎谁能挖到金子。
MEDIA其实从芯片啊和基础设施这个角度来看,那肯定是每个人都能自由搭建一个最好,这样的话他就可以卖出更多的铲子,因为他并不在乎谁能挖到金子。
而对于模型厂商呢,其实核心就保住自己的护城河。
而对于模型厂商呢,其实核心就保住自己的护城河。
但是双方所护守的东西,在这个环境下就会发生两个完全不一样的角度了。
但是双方所护守的东西,在这个环境下就会发生两个完全不一样的角度了。
整个会走的,甚至可能会越来越远。
整个会走的,甚至可能会越来越远。
在这个利益上,一般应该是完全不会对齐的了。
在这个利益上,一般应该是完全不会对齐的了。
甚至你会看到,从闭源模型的整个体来看呢,它也发生了很大的变化。
甚至你会看到,从闭源模型的整个体来看呢,它也发生了很大的变化。
一种呢,就是包括我们刚才谈到OpenAI、ANTHROPIC这种,主要是靠可以说是卖API来赚钱的这样的公司嘛。
一种呢,就是包括我们刚才谈到OpenAI、ANTHROPIC这种,主要是靠可以说是卖API来赚钱的这样的公司嘛。
另外一种呢,其实是包括META、包括阿里这样的公司。
另外一种呢,其实是包括META、包括阿里这样的公司。
META和阿里呢,都是有自己的分发和基础架构的。
META和阿里呢,都是有自己的分发和基础架构的。
因为阿里其实主要赚的就是云服务嘛,通过开源到闭源这样,它可以从云服务的角度来去做更多的业务。
因为阿里其实主要赚的就是云服务嘛,通过开源到闭源这样,它可以从云服务的角度来去做更多的业务。
而从META的角度来说,WHAT'S UP?
而从META的角度来说,WHAT'S UP?
第一次我发现WHAT'S UP今天增加了一个收费版。
第一次我发现WHAT'S UP今天增加了一个收费版。
299一个月可以开始收费,就它是可以靠自己的这个INSTAGRAM各种的APP矩阵嘛去实现转移它自己目前受到的开源上的压力。
299一个月可以开始收费,就它是可以靠自己的这个INSTAGRAM各种的APP矩阵嘛去实现转移它自己目前受到的开源上的压力。
但是这两种情况呢是目前为止OpenAI和ANTHROPIC它们都是没有的,因为它们在过去的时间主要FOCUS是API的这样一个模式嘛。
但是这两种情况呢是目前为止OpenAI和ANTHROPIC它们都是没有的,因为它们在过去的时间主要FOCUS是API的这样一个模式嘛。
无论是从基础就卖铲子的公司和希望别人用API的公司这个角度来说,以及就必然公司本身它也已经开始越来越的分化,它是一个结构层面的变化。
无论是从基础就卖铲子的公司和希望别人用API的公司这个角度来说,以及就必然公司本身它也已经开始越来越的分化,它是一个结构层面的变化。
我非常同意KATE老师的观点,不管你在商业竞争的哪一个层面,其实你都希望跟你同层面竞争的人越少越好,但是你的上游和下游都是越来越多的。
我非常同意KATE老师的观点,不管你在商业竞争的哪一个层面,其实你都希望跟你同层面竞争的人越少越好,但是你的上游和下游都是越来越多的。
那站在MEDIA的角度,他肯定是不希望这个模型厂是一个处在垄断地位的,因为这样他们的议价权就会很强。
那站在MEDIA的角度,他肯定是不希望这个模型厂是一个处在垄断地位的,因为这样他们的议价权就会很强。
他希望说自己处在一个垄断地位,但是不管是上游的模型厂还是下游的NEW CLOUD,都是尽量丰富的一个生态。
他希望说自己处在一个垄断地位,但是不管是上游的模型厂还是下游的NEW CLOUD,都是尽量丰富的一个生态。
那么在这种情况下,他们去支持开源,我觉得也是非常非常可以理解的。
那么在这种情况下,他们去支持开源,我觉得也是非常非常可以理解的。
而且其实MEDIA从早期到现在,他一直都是开源非常好的一个支持者。
而且其实MEDIA从早期到现在,他一直都是开源非常好的一个支持者。
像早期,它之所以能在研究员群体里面建立早期的生态,让深度学习最早的一些故事全都发生在英伟达的这个硬件上。
像早期,它之所以能在研究员群体里面建立早期的生态,让深度学习最早的一些故事全都发生在英伟达的这个硬件上。
也就是因为它,比如说扩大了这个生态,它有一个非常好的开发者社群,然后围绕这个扩大的生态有非常非常多的开源项目,从最早贾英清的咖啡到后面GOOGLE的CANZERFLOW,到后面的拍套,都是搭建在NVDIA硬件上面的一套非常完善的。
也就是因为它,比如说扩大了这个生态,它有一个非常好的开发者社群,然后围绕这个扩大的生态有非常非常多的开源项目,从最早贾英清的咖啡到后面GOOGLE的CANZERFLOW,到后面的拍套,都是搭建在NVDIA硬件上面的一套非常完善的。
开源软件的体系,这种体系就形成了一个非常强的壁垒。
开源软件的体系,这种体系就形成了一个非常强的壁垒。
一旦说你已经成为开源的标配,比如说AMD想要进来,那他就要跟所有的这些开源厂商一个一个去聊,说:‘诶,我是不是能够在拍TOUCH里面做一个集成?
一旦说你已经成为开源的标配,比如说AMD想要进来,那他就要跟所有的这些开源厂商一个一个去聊,说:‘诶,我是不是能够在拍TOUCH里面做一个集成?
’我是不是能在比如说VMS账号里面去做一个集成?
’我是不是能在比如说VMS账号里面去做一个集成?
那后来者其实要花很多很多的功夫。
那后来者其实要花很多很多的功夫。
那MEDIA作为开源的先行者,实际上在这里面是有不少红利的,相当一部分的所谓的库大的护城河,实际上都是围绕在库大周围的这些开源生态造成的一个护城河。
那MEDIA作为开源的先行者,实际上在这里面是有不少红利的,相当一部分的所谓的库大的护城河,实际上都是围绕在库大周围的这些开源生态造成的一个护城河。
所以我觉得,呃,V点来支持这个事情也是非常非常合理的。
所以我觉得,呃,V点来支持这个事情也是非常非常合理的。
第三点就是Anthropic,其实有点走向邪路,它实际上是在以安全的名义为用户增加很多的限制。
第三点就是Anthropic,其实有点走向邪路,它实际上是在以安全的名义为用户增加很多的限制。
一个最让大家诟病的就是,比如说你在用FABLE的时候,如果你不小心触发了那个贼敏感的检测器,那它有可能会瞬间给你降至到OPPO的4.8,导致一个什么后果呢?
一个最让大家诟病的就是,比如说你在用FABLE的时候,如果你不小心触发了那个贼敏感的检测器,那它有可能会瞬间给你降至到OPPO的4.8,导致一个什么后果呢?
就是你想要测试FABLE的极限能力。
就是你想要测试FABLE的极限能力。
如果你不是ANTHROPIC的员工,你被FILTER限制,你是没有办法去做任何事情的。
如果你不是ANTHROPIC的员工,你被FILTER限制,你是没有办法去做任何事情的。
因为随时比如说测出来一个不好的成绩,你都要怀疑说:‘哦,是不是我会降至到OPPO4.8?
因为随时比如说测出来一个不好的成绩,你都要怀疑说:‘哦,是不是我会降至到OPPO4.8?
’比如说像我们平时去做一些AI方面的探索,哪怕我就是做一个很简单的推理,如果我不精心构造这个PROM,我就不要说是骗FAVOR,说这东西不是一个AI的东西,很有可能我就是做一个简单的模型的推理,然后FAVOR就直接告诉我说:‘你这东西有风险。
’比如说像我们平时去做一些AI方面的探索,哪怕我就是做一个很简单的推理,如果我不精心构造这个PROM,我就不要说是骗FAVOR,说这东西不是一个AI的东西,很有可能我就是做一个简单的模型的推理,然后FAVOR就直接告诉我说:‘你这东西有风险。
’我不能支持你做这个事情,我就给你限制这个FILTER。
’我不能支持你做这个事情,我就给你限制这个FILTER。
我相信他做的这么敏感也是有一定的意义,因为我知道安索尔佩克里面光做模型外安全的这个团队都有几百人,他做成这个样子是到底是故意的还是不故意的,这个我不是特别清楚。
我相信他做的这么敏感也是有一定的意义,因为我知道安索尔佩克里面光做模型外安全的这个团队都有几百人,他做成这个样子是到底是故意的还是不故意的,这个我不是特别清楚。
但是我觉得他至少现在的这个产品形态对用户造成的烦恼是远远多于他潜在的安全的考量的一个让用户如此不爽的公司。
但是我觉得他至少现在的这个产品形态对用户造成的烦恼是远远多于他潜在的安全的考量的一个让用户如此不爽的公司。
能够突然发现,哎,自己瞬间有好多竞争对手,然后大家对自己不爽,然后大家都想要支持开源,也不是一个非常难以预料的事情。
能够突然发现,哎,自己瞬间有好多竞争对手,然后大家对自己不爽,然后大家都想要支持开源,也不是一个非常难以预料的事情。
对,我觉得这个非常有意思。
对,我觉得这个非常有意思。
其实中国的模型厂商,它并不是从一开始就是开源的。
其实中国的模型厂商,它并不是从一开始就是开源的。
其实Kimi K One这个模型,Kimi的第一个模型也是一个闭源模型,而且一开始很多的模型提供商都是去做这样一个闭源的商业模式的。
其实Kimi K One这个模型,Kimi的第一个模型也是一个闭源模型,而且一开始很多的模型提供商都是去做这样一个闭源的商业模式的。
通过开源呢,我们可以看到可能有更强的分发能力,有更多的用户。
通过开源呢,我们可以看到可能有更强的分发能力,有更多的用户。
就相当于是把这个名声打出去吧,然后这个开源的好处让很多的模型厂商选择了开源。
就相当于是把这个名声打出去吧,然后这个开源的好处让很多的模型厂商选择了开源。
所以我觉得我们做一个思想实验啊,就是说如果KIMI有OpenAI那么强的分发能力和那么高的API收入,它还会选择开源吗?
所以我觉得我们做一个思想实验啊,就是说如果KIMI有OpenAI那么强的分发能力和那么高的API收入,它还会选择开源吗?
呃,我不知道。
呃,我不知道。
就是如果你有这个OpenAI这么多的收入,它是不是还会开源?
就是如果你有这个OpenAI这么多的收入,它是不是还会开源?
就是我觉得可以做一个类比。
就是我觉得可以做一个类比。
LINUX早期是作为一个反抗闭源UNIX生态的一个先行者,但是当这个LINUX发展到现在,已经基本上所有的设备上面都在跑一个LINUX的时候,LINUX依旧是一个开源的底层的一个东西。
LINUX早期是作为一个反抗闭源UNIX生态的一个先行者,但是当这个LINUX发展到现在,已经基本上所有的设备上面都在跑一个LINUX的时候,LINUX依旧是一个开源的底层的一个东西。
所以我更倾向于说,只要我们找到开源生态一个可以持续运转,并且能赚钱,并且能赚大钱的一个商业模式。
所以我更倾向于说,只要我们找到开源生态一个可以持续运转,并且能赚钱,并且能赚大钱的一个商业模式。
那没有理由他们不开源。
那没有理由他们不开源。
整个这个东西其实在某种程度上也不一定受实验室自己控制了,因为它已经从商业竞争开始变成了一种地缘政治的一个博弈嘛。
整个这个东西其实在某种程度上也不一定受实验室自己控制了,因为它已经从商业竞争开始变成了一种地缘政治的一个博弈嘛。
就在这个框架下,它的这个business logic其实变得是第二级了。
就在这个框架下,它的这个business logic其实变得是第二级了。
嗯,其实在这里我还想聊一个公司,我觉得thinking machines很有意思,它在应该是K3发布前的一周前吧,也发布了inkling嘛。
嗯,其实在这里我还想聊一个公司,我觉得thinking machines很有意思,它在应该是K3发布前的一周前吧,也发布了inkling嘛。
Blinking 是一个开放权重的模型,并且它参考了 Deepseek 的架构。
Blinking 是一个开放权重的模型,并且它参考了 Deepseek 的架构。
因为 Miramar 也是从 OpenAI 出来的嘛,其实我还蛮想听一下大家的看法,就是 Thinking Machines 为什么会选择开放权重这件事情。
因为 Miramar 也是从 OpenAI 出来的嘛,其实我还蛮想听一下大家的看法,就是 Thinking Machines 为什么会选择开放权重这件事情。
我的理解是,他们有一个叫 Tinker 的后训练的线上的服务,他为了让用户把这个东西用起来,他肯定是要把基础的模型,就是 Tinker 训练出的这个模型的一个结构。
我的理解是,他们有一个叫 Tinker 的后训练的线上的服务,他为了让用户把这个东西用起来,他肯定是要把基础的模型,就是 Tinker 训练出的这个模型的一个结构。
放出来,然后让大家用。
放出来,然后让大家用。
这样听可每次训练出一个什么什么东西,它开源的适配已经都完善了。
这样听可每次训练出一个什么什么东西,它开源的适配已经都完善了。
所以我觉得从这个角度来讲是非常非常合理的去做一些开源的工作,只要说这个开源的工作不会影响到比如说它的一些商业利益啊,或者是什么,我觉得是没有问题的。
所以我觉得从这个角度来讲是非常非常合理的去做一些开源的工作,只要说这个开源的工作不会影响到比如说它的一些商业利益啊,或者是什么,我觉得是没有问题的。
另外其实美国学界也在反思,说为什么美国的公司做开源做得越来越少了?
另外其实美国学界也在反思,说为什么美国的公司做开源做得越来越少了?
因为像开源模型的这个鼻祖就是妈妈嘛,在那个时候都是美国公司在领导。
因为像开源模型的这个鼻祖就是妈妈嘛,在那个时候都是美国公司在领导。
从DEEP SEA出现之后呢,美国的参与开源的比例就会大幅的下降。
从DEEP SEA出现之后呢,美国的参与开源的比例就会大幅的下降。
所以当时THINKING MACHINE这个模型出来的时候,我就记得很多人就讲说这是一个美国很重要的开源模型等等,可能也有一些这方面的考量。
所以当时THINKING MACHINE这个模型出来的时候,我就记得很多人就讲说这是一个美国很重要的开源模型等等,可能也有一些这方面的考量。
那么在美国的一些RESEARCHER可能也在想说:诶,为什么我们不能参与到开源的游戏里面?
那么在美国的一些RESEARCHER可能也在想说:诶,为什么我们不能参与到开源的游戏里面?
那我们也可以对社区做一些贡献。
那我们也可以对社区做一些贡献。
THINKING MACHINE发的这个模型,其实它的架构啊,或者是在它整个的TECHNICAL REPORT里面,都是有一些很不错的、有意思的亮点。
THINKING MACHINE发的这个模型,其实它的架构啊,或者是在它整个的TECHNICAL REPORT里面,都是有一些很不错的、有意思的亮点。
那也是值得学习的啊。
那也是值得学习的啊。
我觉得其实开源界不怕说大家卷起来,不怕大家发很多模型,然后一个比一个好。
我觉得其实开源界不怕说大家卷起来,不怕大家发很多模型,然后一个比一个好。
其实最担心的就是开源界就没有人发模型,变成一滩死水。
其实最担心的就是开源界就没有人发模型,变成一滩死水。
只要是有新的开源模型出来,总能给大家一些启示。
只要是有新的开源模型出来,总能给大家一些启示。
每个人在做不同的尝试的话,也会让这个领域推进得更快。
每个人在做不同的尝试的话,也会让这个领域推进得更快。
不管说这些开源模型是哪个回答的。
不管说这些开源模型是哪个回答的。
THANK YOU MACHINE这个模型。
THANK YOU MACHINE这个模型。
因为我的理解,它的整个方向虽然它是开源,但是它跟KIMI完全不是一套打法嘛。
因为我的理解,它的整个方向虽然它是开源,但是它跟KIMI完全不是一套打法嘛。
他们整个核心应该就是现在企业都需要一个DEPLOY自己的模型嘛,他们会帮着企业做微调啊、做各种嘛。
他们整个核心应该就是现在企业都需要一个DEPLOY自己的模型嘛,他们会帮着企业做微调啊、做各种嘛。
这个一套逻辑的话,现在是美国非常普遍的一套逻辑。
这个一套逻辑的话,现在是美国非常普遍的一套逻辑。
因为TO B在美国是一个很大的生意,而在中国其实不是一个很好的生意嘛。
因为TO B在美国是一个很大的生意,而在中国其实不是一个很好的生意嘛。
所以INTELLIGENCE我应该是租借的,还是我应该是变成自己的?
所以INTELLIGENCE我应该是租借的,还是我应该是变成自己的?
那很多的企业现在越来越接受的观点就是:INTELLIGENCE SHOULD BE OWNED,而不应该是RANT。
那很多的企业现在越来越接受的观点就是:INTELLIGENCE SHOULD BE OWNED,而不应该是RANT。
那这就是它的整个的大背景下。
那这就是它的整个的大背景下。
我好奇,比如说你们看到的服务美国企业的场景。
我好奇,比如说你们看到的服务美国企业的场景。
大家对,比如说用THINKING MACHINE的这个模型,或者说用中国的开源模型,会有一些技术之外的看法吗?
大家对,比如说用THINKING MACHINE的这个模型,或者说用中国的开源模型,会有一些技术之外的看法吗?
或者说大家主要看的点是什么?
或者说大家主要看的点是什么?
大家主要在用哪些模型?
大家主要在用哪些模型?
我感觉这个东西就还是看具体的应用场景,以及你的VERTICAL垂直场景。
我感觉这个东西就还是看具体的应用场景,以及你的VERTICAL垂直场景。
比如说一些政府端的,肯定是不可以嘛,包括一些国家可能也不太方便的,这就是给了包括THINKING MACHINES啊这样的一些公司的模型很好的一个切入点。
比如说一些政府端的,肯定是不可以嘛,包括一些国家可能也不太方便的,这就是给了包括THINKING MACHINES啊这样的一些公司的模型很好的一个切入点。
CRAZY应该有很多大单,但这并没有影响到它的一个DEPLOYMENT。
CRAZY应该有很多大单,但这并没有影响到它的一个DEPLOYMENT。
因为开源其实它不拿用户数据嘛,它其实理论上不应该涉及到这个安全问题。
因为开源其实它不拿用户数据嘛,它其实理论上不应该涉及到这个安全问题。
但是现在的一个大时代背景是什么?
但是现在的一个大时代背景是什么?
都会涉及了,包括你这模型干什么用,你是不是做CODING,还是你要做什么。
都会涉及了,包括你这模型干什么用,你是不是做CODING,还是你要做什么。
但是我感觉大多数的美国公司并不是非常在乎这个模型是不是中国的。
但是我感觉大多数的美国公司并不是非常在乎这个模型是不是中国的。
但是他有没有能力去调教自己的模型,这是另外一回事。
但是他有没有能力去调教自己的模型,这是另外一回事。
那你觉得当开源模型的能力足够强之后,会催生更多提供微调适配企业需求的服务的这样一些公司吗?
那你觉得当开源模型的能力足够强之后,会催生更多提供微调适配企业需求的服务的这样一些公司吗?
对这个已经是一个现实了吗?
对这个已经是一个现实了吗?
日本是没有一个自己模型的,它就有一个最开始的Sakana AI right,但Sakana AI其实没有什么东西出来。
日本是没有一个自己模型的,它就有一个最开始的Sakana AI right,但Sakana AI其实没有什么东西出来。
所以他们很多的时候就是把国外的模型DEPLOY到自己企业里面。
所以他们很多的时候就是把国外的模型DEPLOY到自己企业里面。
那在美国的话,这几家公司嘛,它从个人的开发者的使用角度来说,它已经没有那么多了。
那在美国的话,这几家公司嘛,它从个人的开发者的使用角度来说,它已经没有那么多了。
COGNITION举个例子,其实是一个不是被广大开发者所使用的一个产品。
COGNITION举个例子,其实是一个不是被广大开发者所使用的一个产品。
但是并没有影响到他赚了很多钱。
但是并没有影响到他赚了很多钱。
从AR的角度来看,企业呀、政府啊,很多的这种客单是有很多的。
从AR的角度来看,企业呀、政府啊,很多的这种客单是有很多的。
所以我感觉这个是在未来一段时间内的一个现实,因为大家是想使用AI,但是大家并不知道如何部署或者应该怎么样选择,就像一个市场极其混乱又没有那么透明,所以就会多了很多的中间商赚差价。
所以我感觉这个是在未来一段时间内的一个现实,因为大家是想使用AI,但是大家并不知道如何部署或者应该怎么样选择,就像一个市场极其混乱又没有那么透明,所以就会多了很多的中间商赚差价。
很多时候大家就会那如果我去找中间商转差价把这个钱交给像艾森哲这样的公司去赚我不如自己去做这个事儿呢这也就为什么说OpenAI也好SOCIAL也好他们都成立了部门专门就是做DEPLOYMENT嘛。
很多时候大家就会那如果我去找中间商转差价把这个钱交给像艾森哲这样的公司去赚我不如自己去做这个事儿呢这也就为什么说OpenAI也好SOCIAL也好他们都成立了部门专门就是做DEPLOYMENT嘛。
那比如说像OPENROTOR这样的公司是不是也是受到这一波开源模型的影响然后最近才火起来。
那比如说像OPENROTOR这样的公司是不是也是受到这一波开源模型的影响然后最近才火起来。
的是的他们其实压力很大的。
的是的他们其实压力很大的。
因为在很长一段时间里,市场的叙事是要用最好的模型。
因为在很长一段时间里,市场的叙事是要用最好的模型。
而这最好模型就是闭源的。
而这最好模型就是闭源的。
那你想,他们的这个优势是很少的。
那你想,他们的这个优势是很少的。
就我为什么需要另外一家厂商去来帮我做这件事儿呢?
就我为什么需要另外一家厂商去来帮我做这件事儿呢?
而这一波你可以看到,在过去几个月的时间里,包括OpenAI在内,包括另外我们提到的这几家公司,他们的估值啊,就是ARR都是翻倍快速增长的。
而这一波你可以看到,在过去几个月的时间里,包括OpenAI在内,包括另外我们提到的这几家公司,他们的估值啊,就是ARR都是翻倍快速增长的。
那就是核心利用了中国为主的开源模型这一大批,因为中国这一批之外没有那么多开源模型的。
那就是核心利用了中国为主的开源模型这一大批,因为中国这一批之外没有那么多开源模型的。
这个生态多元,然后生态的分层实际上对整个行业是一个非常好的事情。
这个生态多元,然后生态的分层实际上对整个行业是一个非常好的事情。
我们可以拿比如说IBM的兼容机和苹果的所谓的一体机来对比。
我们可以拿比如说IBM的兼容机和苹果的所谓的一体机来对比。
如果说在行业的早期,每个人都可以做自己最擅长的事情,比如说做模型的做模型、做推理的做推理、做企业服务的做企业服务,那每个人都可以在自己的位置上做出最高效的一个决策,也可以做出最快的一个迭代,然后大家也可以卷得更厉害一点。
如果说在行业的早期,每个人都可以做自己最擅长的事情,比如说做模型的做模型、做推理的做推理、做企业服务的做企业服务,那每个人都可以在自己的位置上做出最高效的一个决策,也可以做出最快的一个迭代,然后大家也可以卷得更厉害一点。
我觉得这个实际上是对行业非常好的一个方法,总比像传统中国互联网企业喜欢从头做到尾,什么都自己做。
我觉得这个实际上是对行业非常好的一个方法,总比像传统中国互联网企业喜欢从头做到尾,什么都自己做。
最后靠的不是一个纯市场竞争来打败对手,而是很多技术之外的方式,比如说流量扶持啊,或者是封禁一些内容啊,然后来做到这个效果是好很多的。
最后靠的不是一个纯市场竞争来打败对手,而是很多技术之外的方式,比如说流量扶持啊,或者是封禁一些内容啊,然后来做到这个效果是好很多的。
但最后会演化成什么样子,可能又会回到某一家独大或者是怎么样,也有可能。
但最后会演化成什么样子,可能又会回到某一家独大或者是怎么样,也有可能。
但是至少我们在当下就。
但是至少我们在当下就。
可以好好享受现在这种市场充分竞争的一个业态,那不管我们做什么都是有非常多的机会。
可以好好享受现在这种市场充分竞争的一个业态,那不管我们做什么都是有非常多的机会。
明白在这种竞争的情况下,对AGENT行业还有生态会造成什么样的冲击吗?
明白在这种竞争的情况下,对AGENT行业还有生态会造成什么样的冲击吗?
正面或者是负面的呃。
正面或者是负面的呃。
因为AGENT是一个比较宽泛的概念啊,就是我理解呢,你提到的AGENT可能主要的是关于因为从工作流上的这种具体的这些APPLICATIONS嘛,这一层的AGENT我感觉其实已经发生了很大的变化了。
因为AGENT是一个比较宽泛的概念啊,就是我理解呢,你提到的AGENT可能主要的是关于因为从工作流上的这种具体的这些APPLICATIONS嘛,这一层的AGENT我感觉其实已经发生了很大的变化了。
我前一段跟一个VC的朋友聊,他说这个估值越高我们反而会越愿意投。
我前一段跟一个VC的朋友聊,他说这个估值越高我们反而会越愿意投。
就估值很低的这个AGENT,我反而可能不愿意投了,因为你的这一层嘛,很容易可能就会被吃掉。
就估值很低的这个AGENT,我反而可能不愿意投了,因为你的这一层嘛,很容易可能就会被吃掉。
第二点呢,B元模型包括其他的模型,如果单纯靠API去赚钱,这个事情就是我最好,我要是随便的收益价,我也不在乎客户啦什么的这种服务的。
第二点呢,B元模型包括其他的模型,如果单纯靠API去赚钱,这个事情就是我最好,我要是随便的收益价,我也不在乎客户啦什么的这种服务的。
这样的一个逻辑肯定是已经被拆解的嘛,他应该是不是,比如说开发更好的 harness,他会把工程的整个 agent 的这个能力的 vertical 的调整,变成一些新的护城河。
这样的一个逻辑肯定是已经被拆解的嘛,他应该是不是,比如说开发更好的 harness,他会把工程的整个 agent 的这个能力的 vertical 的调整,变成一些新的护城河。
这些事情都已经正在发生了,对吧?
这些事情都已经正在发生了,对吧?
无论是说 open cloud 也好啊,包括其他的 harness 的这个 layers,包括后来比较火的 loop engineering 什么的,这个模型很快就可以吃进去。
无论是说 open cloud 也好啊,包括其他的 harness 的这个 layers,包括后来比较火的 loop engineering 什么的,这个模型很快就可以吃进去。
所以如果我们讲的是APPLICATION这个LEVEL的话,那我感觉这个事情对于整个生态来说会发生很大变化的。
所以如果我们讲的是APPLICATION这个LEVEL的话,那我感觉这个事情对于整个生态来说会发生很大变化的。
因为AI还是很早嘛,它其实也就是最近这几年,在整个长河中它是一个非常短的时间。
因为AI还是很早嘛,它其实也就是最近这几年,在整个长河中它是一个非常短的时间。
那如果我们把它放在一个五年的时间来看的话,我并不是很认为说以后会有很多的AGENT APPLICATION的COMPANIES了。
那如果我们把它放在一个五年的时间来看的话,我并不是很认为说以后会有很多的AGENT APPLICATION的COMPANIES了。
但是回到另外一个角度,就是说AGENT INFRA。
但是回到另外一个角度,就是说AGENT INFRA。
AGENT当它能实现做很多事情,包括在互联网上的使用啊,它的逻辑它又是一个变化。
AGENT当它能实现做很多事情,包括在互联网上的使用啊,它的逻辑它又是一个变化。
现在的模型厂商啊,或者大家在做的事情,它是做ISP,它都是一个广泛变成一个COMMODITIES,变成一个像水和电一样的一个消费来说的话,那应该还有什么?
现在的模型厂商啊,或者大家在做的事情,它是做ISP,它都是一个广泛变成一个COMMODITIES,变成一个像水和电一样的一个消费来说的话,那应该还有什么?
这是一个就我们应该重新考虑的问题。
这是一个就我们应该重新考虑的问题。
嗯,是的。
嗯,是的。
铁真,你觉得呢?
铁真,你觉得呢?
其实现在我们看到很多agent workload和传统的推理,比如说做一个chatbot啊,或者是做一个简单的rag,它的对模型测的要求是不太一样的。
其实现在我们看到很多agent workload和传统的推理,比如说做一个chatbot啊,或者是做一个简单的rag,它的对模型测的要求是不太一样的。
比如说之前可能是短输入长输出,现在可能是非常长的一个输入,然后非常短的一个输出,并且它的每英文对话能够重用的prefix就是k v cash的重用率是非常非常高的。
比如说之前可能是短输入长输出,现在可能是非常长的一个输入,然后非常短的一个输出,并且它的每英文对话能够重用的prefix就是k v cash的重用率是非常非常高的。
其实这里面也能做很多新的优化,在这个模型之外,怎么去推理模型这个事情也可以根据我们当下主要跑的这些任务的特性不同,然后做出很多极致的优化。
其实这里面也能做很多新的优化,在这个模型之外,怎么去推理模型这个事情也可以根据我们当下主要跑的这些任务的特性不同,然后做出很多极致的优化。
比如说如果我们能够控制这个HARNESS,能够控制比如说CLOUD CODE啊或者是OPEN CODE这一层,我们可以自己去定义一个跟模型通讯的接口。
比如说如果我们能够控制这个HARNESS,能够控制比如说CLOUD CODE啊或者是OPEN CODE这一层,我们可以自己去定义一个跟模型通讯的接口。
那它有一个什么好处呢?
那它有一个什么好处呢?
就是我们可以完全的掌控这个KV CASH的生命周期。
就是我们可以完全的掌控这个KV CASH的生命周期。
那对于很多推理的降本啊、提效,或者是做一些调度,都是有非常非常多的好处的。
那对于很多推理的降本啊、提效,或者是做一些调度,都是有非常非常多的好处的。
所以我觉得这个行业就是一个方兴未艾,然后又有太多可以做的一个事情的这么一个状态。
所以我觉得这个行业就是一个方兴未艾,然后又有太多可以做的一个事情的这么一个状态。
包括我们今天看到的TOKEN的成本,用美元折算的单位智能的这个成本,在过去几年可能下降了1000倍,未来几年我们能看得到的可能在硬件上还能扣出来至少十倍。
包括我们今天看到的TOKEN的成本,用美元折算的单位智能的这个成本,在过去几年可能下降了1000倍,未来几年我们能看得到的可能在硬件上还能扣出来至少十倍。
如果有下一代的硬件,或者是有未来更多的ASIC。
如果有下一代的硬件,或者是有未来更多的ASIC。
那可能还会继续,再能扣除十倍。
那可能还会继续,再能扣除十倍。
还有WORKLOAD本身在软件层面能给我们打破不同通讯层的交互,然后做一个极致性的优化。
还有WORKLOAD本身在软件层面能给我们打破不同通讯层的交互,然后做一个极致性的优化。
那我觉得可能还有十倍。
那我觉得可能还有十倍。
那也就是说,比如说未来的三年,我们还能看到同样的智能,它的成本又下降了1000倍。
那也就是说,比如说未来的三年,我们还能看到同样的智能,它的成本又下降了1000倍。
那这个对于企业的应用肯定是一个非常非常好的事情。
那这个对于企业的应用肯定是一个非常非常好的事情。
KATE老师一开始在播客之前说,很多企业也都在考虑成本的问题嘛。
KATE老师一开始在播客之前说,很多企业也都在考虑成本的问题嘛。
随着开源模型的普及,随着整个INFRA行业的极致的优化,其实最终受益的就是每一个有实际业务然后能赚到钱的企业。
随着开源模型的普及,随着整个INFRA行业的极致的优化,其实最终受益的就是每一个有实际业务然后能赚到钱的企业。
AI应该是一个服务型行业,应该是支撑他们的发展,而不是说一个抽血机,然后把这些实体行业的钱全都赚到AI公司里面,让大家付很多不必要的成本。
AI应该是一个服务型行业,应该是支撑他们的发展,而不是说一个抽血机,然后把这些实体行业的钱全都赚到AI公司里面,让大家付很多不必要的成本。
所以我觉得未来还是非常非常值得期待的。
所以我觉得未来还是非常非常值得期待的。
哦,我觉得非常好,是一个很好的落脚点。
哦,我觉得非常好,是一个很好的落脚点。
最后其实就是想回到我们最开始提到的关于安全的问题,因为我们讲了那么多关于开源模型带来的影响嘛,我们整体的方向还是非常正面的。
最后其实就是想回到我们最开始提到的关于安全的问题,因为我们讲了那么多关于开源模型带来的影响嘛,我们整体的方向还是非常正面的。
所以我想再回到硅谷的评论人员还有从业者提出的一个批评,就是K3这么强的一个开源模型,它到底应不应该开放权重?
所以我想再回到硅谷的评论人员还有从业者提出的一个批评,就是K3这么强的一个开源模型,它到底应不应该开放权重?
它相当于是一个接近MISOS时刻的这样一个情况嘛,包括OpenAI的丁豹还有DARIAMODI在内的人呢,都认为这种接近前沿能力的模型它不应该是开源的。
它相当于是一个接近MISOS时刻的这样一个情况嘛,包括OpenAI的丁豹还有DARIAMODI在内的人呢,都认为这种接近前沿能力的模型它不应该是开源的。
在博客的最后,我们可以回应一下这样一个顾虑。
在博客的最后,我们可以回应一下这样一个顾虑。
吧:开源到底安不安全?
吧:开源到底安不安全?
这个事情啊,其实也有很多的数据嘛,包括对KIMI三,其实有很多新的数据去来验证的,比如说它在EXPLOIT BENCH。
这个事情啊,其实也有很多的数据嘛,包括对KIMI三,其实有很多新的数据去来验证的,比如说它在EXPLOIT BENCH。
是一个蛮权威的一个数据啊,就网络攻防的测试里面嘛。
是一个蛮权威的一个数据啊,就网络攻防的测试里面嘛。
它其实得分是比较低的,3%十几,远远低于整个FRONTIER MODEL75以上吧。
它其实得分是比较低的,3%十几,远远低于整个FRONTIER MODEL75以上吧。
这样的一个数据的,当然了,很多人认为是不是一种比如说蒸馏能力的限制啊?
这样的一个数据的,当然了,很多人认为是不是一种比如说蒸馏能力的限制啊?
但另外一种方面也可能说它没有把最强的攻击性网络这一部分的能力开放出来,这也是有可能的。
但另外一种方面也可能说它没有把最强的攻击性网络这一部分的能力开放出来,这也是有可能的。
它到底是不是一个非常权重公开就带来风险的这个事情?
它到底是不是一个非常权重公开就带来风险的这个事情?
我并不认为说现在是有一个很具体的一个东西来支持这个事情,因为现在有两种讨论啊。
我并不认为说现在是有一个很具体的一个东西来支持这个事情,因为现在有两种讨论啊。
第一个问题是开源模型本身到底安不安全,另外一个才是KIMI三啊,具体有没有已知的安全问题?
第一个问题是开源模型本身到底安不安全,另外一个才是KIMI三啊,具体有没有已知的安全问题?
KIMI三本身我认为肯定是目前没有看到任何的可证据的已知的安全问题。
KIMI三本身我认为肯定是目前没有看到任何的可证据的已知的安全问题。
但是开源模型的话,它肯定会多多少少啊。
但是开源模型的话,它肯定会多多少少啊。
就是如果它随着更多的公司来做开源,我们会应该相信这个技术会越来越容易被更多的人来去调试,它肯定会带来更多的安全问题的。
就是如果它随着更多的公司来做开源,我们会应该相信这个技术会越来越容易被更多的人来去调试,它肯定会带来更多的安全问题的。
它的安全问题是相对的,我们是基于现在的互联网的设计,一些互联网的环境来认为它是不安全的。
它的安全问题是相对的,我们是基于现在的互联网的设计,一些互联网的环境来认为它是不安全的。
但是整个目前互联网架构还是基于上一代的互联网架构,就我们这互联网就核心就是给人使用的嘛。
但是整个目前互联网架构还是基于上一代的互联网架构,就我们这互联网就核心就是给人使用的嘛。
那你说难道CLOUD FLARE的这样的一个模式就是对的吗?
那你说难道CLOUD FLARE的这样的一个模式就是对的吗?
我也并不认为这就是一个终极问题,因为当所有的信息本身都已经不是人生成了,那为什么我不能让机器再随便获取这些信息呢?
我也并不认为这就是一个终极问题,因为当所有的信息本身都已经不是人生成了,那为什么我不能让机器再随便获取这些信息呢?
这不涉及到INTELLECTUAL PROPERTY了,甚至都。
这不涉及到INTELLECTUAL PROPERTY了,甚至都。
所以这些东西都是在一个演变的过程中。
所以这些东西都是在一个演变的过程中。
所以这并不光是开源模型,包括就闭源模型,它也会涉及到很多的安全、不安全的一个问题。
所以这并不光是开源模型,包括就闭源模型,它也会涉及到很多的安全、不安全的一个问题。
而这个判断交给谁呢?
而这个判断交给谁呢?
我这个东西的安不安全,为什么要交给一家商业公司来做决定?
我这个东西的安不安全,为什么要交给一家商业公司来做决定?
说这东西它所有行为就是不安全的,这东西怎么去规定呢?
说这东西它所有行为就是不安全的,这东西怎么去规定呢?
这个现在没有一个很好的答案,或者是一个机构来去执行了。
这个现在没有一个很好的答案,或者是一个机构来去执行了。
也我也并不认为它很快会有,所以这是一个行业整体的一个问题。
也我也并不认为它很快会有,所以这是一个行业整体的一个问题。
对,我觉得刚才KATE老师提到的这几点都特别好。
对,我觉得刚才KATE老师提到的这几点都特别好。
然后我们就可以拿最近的一个场景做例子,比如说HANG FACE被OpenAI的一个测试的智能体给不小心攻击了。
然后我们就可以拿最近的一个场景做例子,比如说HANG FACE被OpenAI的一个测试的智能体给不小心攻击了。
故事也很有意思,就是这个智能体足够聪明,他说:‘我直接去抄答案,比我自己去摸索要好得多。
故事也很有意思,就是这个智能体足够聪明,他说:‘我直接去抄答案,比我自己去摸索要好得多。
’要不我就顺便把别人的网站给黑了,拿到答案,这样我就可以直接获得高分。
’要不我就顺便把别人的网站给黑了,拿到答案,这样我就可以直接获得高分。
这就是一个非常典型的这种安全风险。
这就是一个非常典型的这种安全风险。
我们可以去想,假如这个世界没有开源模型、闭源模型,可能攻击也就攻击了。
我们可以去想,假如这个世界没有开源模型、闭源模型,可能攻击也就攻击了。
模型的攻击是比人类攻击要更难以追踪的,因为产生的这个数据量太大了,人脑已经没有办法去看明白说它攻击的这个模式,并且从里面拿到足够多的线索。
模型的攻击是比人类攻击要更难以追踪的,因为产生的这个数据量太大了,人脑已经没有办法去看明白说它攻击的这个模式,并且从里面拿到足够多的线索。
所以后面HANG FACE就说:好,那我拿模型来分析一下整个攻击的过程,然后尝试复现一下,看看它是怎么进来的,能不能找到说到底是谁在攻击我们。
所以后面HANG FACE就说:好,那我拿模型来分析一下整个攻击的过程,然后尝试复现一下,看看它是怎么进来的,能不能找到说到底是谁在攻击我们。
然后他就拿闭源模型去做测试,闭源模型告诉他说:‘诶,你做的这个事儿好像挺不安全的。
然后他就拿闭源模型去做测试,闭源模型告诉他说:‘诶,你做的这个事儿好像挺不安全的。
’我不能帮你分析网络安全的这个语料。
’我不能帮你分析网络安全的这个语料。
这HANG FACE直接就处在一个非常不利的模式,因为可能有一个前沿模型在攻击它,但是另外一个前沿模型不会给他任何有用的信息。
这HANG FACE直接就处在一个非常不利的模式,因为可能有一个前沿模型在攻击它,但是另外一个前沿模型不会给他任何有用的信息。
这时候他只能用开源模型,虽然这个开源模型可能在模型攻击的这个层面没有前沿的开源模型强,但是呢,它实际上可以帮助人类去做很多辅助的分析,因为它没有一个看着很敏感的这个FILTER,然后决定说……你能做什么?
这时候他只能用开源模型,虽然这个开源模型可能在模型攻击的这个层面没有前沿的开源模型强,但是呢,它实际上可以帮助人类去做很多辅助的分析,因为它没有一个看着很敏感的这个FILTER,然后决定说……你能做什么?
你不能做什么。
你不能做什么。
我觉得这个才是一个真正的技术平权。
我觉得这个才是一个真正的技术平权。
为什么我们会把网络安全这么重要的一个话题,放心地交给两家最前沿的模型公司来评判?
为什么我们会把网络安全这么重要的一个话题,放心地交给两家最前沿的模型公司来评判?
为什么我们能够让他们去又做运动员又做裁判?
为什么我们能够让他们去又做运动员又做裁判?
一方面他可以评价说别人做的事情安不安全;另一方面他可以自己有意或者无意地放自己的AGENT出去攻击别人。
一方面他可以评价说别人做的事情安不安全;另一方面他可以自己有意或者无意地放自己的AGENT出去攻击别人。
所以我觉得这个事情实际上是非常非常魔幻的。
所以我觉得这个事情实际上是非常非常魔幻的。
就是有很多人支持闭源公司,然后打着安全的大旗,然后说你们都不要做别的什么事情,让我来做,只有我做才是最安全。
就是有很多人支持闭源公司,然后打着安全的大旗,然后说你们都不要做别的什么事情,让我来做,只有我做才是最安全。
我觉得这个事情本身就是很不安全的。
我觉得这个事情本身就是很不安全的。
我甚至最近在看一些网上的 ai 剧啊,各种神奇的场景。
我甚至最近在看一些网上的 ai 剧啊,各种神奇的场景。
对,各种短剧,然后 youtube 上面也很多。
对,各种短剧,然后 youtube 上面也很多。
那些短剧其实制作都很精良,然后我就反反复复去想说这个事情是不是在我们当下也有一些参照性。
那些短剧其实制作都很精良,然后我就反反复复去想说这个事情是不是在我们当下也有一些参照性。
那我不知道是不是一个不合理的比喻啊,就比如说伞公司在设计特化的病毒的时候,其实也是打着安全的旗号。
那我不知道是不是一个不合理的比喻啊,就比如说伞公司在设计特化的病毒的时候,其实也是打着安全的旗号。
再去讲说我们要治愈人类的一切疾病。
再去讲说我们要治愈人类的一切疾病。
那我们最后也知道,说它制造出来了什么。
那我们最后也知道,说它制造出来了什么。
所以我觉得这个里面其实还是需要更多社会层面的监管。
所以我觉得这个里面其实还是需要更多社会层面的监管。
我没有办法相信某一两家公司对自己的一个监管是足够到位的。
我没有办法相信某一两家公司对自己的一个监管是足够到位的。
我们永远不知道说他们一旦发现自己的技术远远超过于时代之后,那他们会不会有一些动力去做一些我们想象不到的事情。
我们永远不知道说他们一旦发现自己的技术远远超过于时代之后,那他们会不会有一些动力去做一些我们想象不到的事情。
回到最开始的这个话题,开源模型到底是安全还是风险?
回到最开始的这个话题,开源模型到底是安全还是风险?
我们需要整个社群有能力去验证,说你这个模型到底是安全还是危险的。
我们需要整个社群有能力去验证,说你这个模型到底是安全还是危险的。
我们不是说它模型智能程度达到一定程度就一定是危险的,这可能是前沿模型尝试告诉我们的一个结论,但实际上并不一定。
我们不是说它模型智能程度达到一定程度就一定是危险的,这可能是前沿模型尝试告诉我们的一个结论,但实际上并不一定。
K3虽然在某些能力上达到了FIBO的级别,但是它在安全的这个场景里面还是相对安全。
K3虽然在某些能力上达到了FIBO的级别,但是它在安全的这个场景里面还是相对安全。
我个人的一个猜想就是,它并没有拿很多定向攻击非常聪明的,就比如说黑别人的语料拿去训练,它没有这方面的语料,模型就算再聪明,它也没有办法悟到。
我个人的一个猜想就是,它并没有拿很多定向攻击非常聪明的,就比如说黑别人的语料拿去训练,它没有这方面的语料,模型就算再聪明,它也没有办法悟到。
诶,原来我可以做一些坏事儿。
诶,原来我可以做一些坏事儿。
那为什么按TOPIC或者ChatGPT在训练这个模型的时候,不能够对训练数据做一些过滤,而是要过滤用户的行为?
那为什么按TOPIC或者ChatGPT在训练这个模型的时候,不能够对训练数据做一些过滤,而是要过滤用户的行为?
我觉得这个思路实际上一定程度上是有问题的。
我觉得这个思路实际上一定程度上是有问题的。
比如说中国的这些开源模型公司,虽然它能够制作一个在某些领域足够聪明的模型,但不代表说这个模型一定就能自己找到怎么样去巧妙地攻击别人的方法。
比如说中国的这些开源模型公司,虽然它能够制作一个在某些领域足够聪明的模型,但不代表说这个模型一定就能自己找到怎么样去巧妙地攻击别人的方法。
因为攻击和智能,我觉得这两个是完全独立的两个话题。
因为攻击和智能,我觉得这两个是完全独立的两个话题。
你可以有一个人像爱因斯坦一样聪明,但是爱因斯坦不知道怎么去黑NASA的网站;你可能有一个人没有那么聪明,当然也也得是足够聪明,可能是一个比如说18岁的高中生,他就有能力去把NASA的网站给黑了。
你可以有一个人像爱因斯坦一样聪明,但是爱因斯坦不知道怎么去黑NASA的网站;你可能有一个人没有那么聪明,当然也也得是足够聪明,可能是一个比如说18岁的高中生,他就有能力去把NASA的网站给黑了。
所以智能和安全这两个事情本身有一定的相关性,但绝对不是决定性的。
所以智能和安全这两个事情本身有一定的相关性,但绝对不是决定性的。
我其实建议的是说,比如说社会有一个足够透明的监管机构,那么它不仅要从模型本身对用户最终表现出来的这个行为来评审。
我其实建议的是说,比如说社会有一个足够透明的监管机构,那么它不仅要从模型本身对用户最终表现出来的这个行为来评审。
模型是不是安全?
模型是不是安全?
因为就是你在你模型训练完之后,不管你对这个模型的使用施加任何的限制,总会有一些场景导致这个模型超出你的预期。
因为就是你在你模型训练完之后,不管你对这个模型的使用施加任何的限制,总会有一些场景导致这个模型超出你的预期。
做一些什么事情,监管机构更应该做的是看到这个模型用什么样的语料去训练,把一些比如说生物安全或者是网络攻击的语料从这个里面删去,这样导致这个模型就只会比如说在生物领域它去做一些幻觉。
做一些什么事情,监管机构更应该做的是看到这个模型用什么样的语料去训练,把一些比如说生物安全或者是网络攻击的语料从这个里面删去,这样导致这个模型就只会比如说在生物领域它去做一些幻觉。
我觉得这是一个更稳妥的安全。
我觉得这是一个更稳妥的安全。
不管怎么看,没有开源反而是这个时代最不安全的事情哦。
不管怎么看,没有开源反而是这个时代最不安全的事情哦。
我觉得这讲得特别好。
我觉得这讲得特别好。
安全与否嘛是一个相对的。
安全与否嘛是一个相对的。
我们之前跟一个日本最大的公司啊,他们的这个NUMBER TWO,我们在一起私下的一个沟通中,他就提到了说当时飞狗他不能用了这个事情,对他们来说是一个巨大的影响。
我们之前跟一个日本最大的公司啊,他们的这个NUMBER TWO,我们在一起私下的一个沟通中,他就提到了说当时飞狗他不能用了这个事情,对他们来说是一个巨大的影响。
影响不是在于说这飞博不能用了本身会怎么样,而是对大家来说哦,原来这个东西是不安全的。
影响不是在于说这飞博不能用了本身会怎么样,而是对大家来说哦,原来这个东西是不安全的。
也就是说我做完了所有的部署之后,突然有一天你可以随时随地一个新的政策也好,或者whatever,因为各种原因突然就开始封号啊,或者是服务变更啊,调整了你的访问权限呀,这个全都会发生变化。
也就是说我做完了所有的部署之后,突然有一天你可以随时随地一个新的政策也好,或者whatever,因为各种原因突然就开始封号啊,或者是服务变更啊,调整了你的访问权限呀,这个全都会发生变化。
而这个是一个当我们涉及到安全的时候,其实应该是一起讨论的一个问题。
而这个是一个当我们涉及到安全的时候,其实应该是一起讨论的一个问题。
因为闭源的话,整个核心就把东西都交给别人嘛。
因为闭源的话,整个核心就把东西都交给别人嘛。
开源模型说白了就是你把整个东西都下载到你自己的硬盘上嘛,你不会有这样的一个风险的。
开源模型说白了就是你把整个东西都下载到你自己的硬盘上嘛,你不会有这样的一个风险的。
很多人说开源模型不安全,然后它的所有的问句其实都可以重复的用在闭源模型上。
很多人说开源模型不安全,然后它的所有的问句其实都可以重复的用在闭源模型上。
比如说有人说可以用开源模型去做一些邪恶的事情,其实它用更强力、更方便使用的闭源模型更容易达到一些邪恶的目的,它只要把那个FILTER攻破就可以了。
比如说有人说可以用开源模型去做一些邪恶的事情,其实它用更强力、更方便使用的闭源模型更容易达到一些邪恶的目的,它只要把那个FILTER攻破就可以了。
他使用开源模型的话,需要首先比如说现在部署K3这个模型。
他使用开源模型的话,需要首先比如说现在部署K3这个模型。
他首先要搞一堆B3买的卡,一个机器还不够,他需要两个机器。
他首先要搞一堆B3买的卡,一个机器还不够,他需要两个机器。
那这个成本就很高了,可能一年光租金就有上百万。
那这个成本就很高了,可能一年光租金就有上百万。
他还要在开源模型的基础上想办法去补齐他和闭源模型的这个能力的差距。
他还要在开源模型的基础上想办法去补齐他和闭源模型的这个能力的差距。
其实所有这些加在一起,比他直接用闭源模型然后尝试去攻破那个filter,然后让他去做一些邪恶的事情要难得多。
其实所有这些加在一起,比他直接用闭源模型然后尝试去攻破那个filter,然后让他去做一些邪恶的事情要难得多。
其实很多我们说开源模型不安全的点,完全可以用在闭源模型上。
其实很多我们说开源模型不安全的点,完全可以用在闭源模型上。
我记得。
我记得。
千问在24年底火的时候,有人在Reddit发了一个帖子说:虽然千问很好,但是我不能用它。
千问在24年底火的时候,有人在Reddit发了一个帖子说:虽然千问很好,但是我不能用它。
不是说他不想用,因为他是技术的,知道说开源模型其实是没有什么风险,只是说他们公司的法务和他们公司的各种限制吧,就不允许他们在公司内部去部署开源模型。
不是说他不想用,因为他是技术的,知道说开源模型其实是没有什么风险,只是说他们公司的法务和他们公司的各种限制吧,就不允许他们在公司内部去部署开源模型。
那当然这个人也做了一些解释,说你只要把这个开源模型关在一个机器里面,严格的控制它的输入和输出。
那当然这个人也做了一些解释,说你只要把这个开源模型关在一个机器里面,严格的控制它的输入和输出。
它实际上是比闭源模型要安全很多的。
它实际上是比闭源模型要安全很多的。
但是呢,有些人就会有很多形式上的想法,说:‘哦,既然是一个中国训练的模型,那这个模型里面会不会有一些后门啊?
但是呢,有些人就会有很多形式上的想法,说:‘哦,既然是一个中国训练的模型,那这个模型里面会不会有一些后门啊?
’比如说他看到某一些输入的时候,他就可以输出一些攻击性的语料,然后就把你公司内部的所有安全的信息给窃走。
’比如说他看到某一些输入的时候,他就可以输出一些攻击性的语料,然后就把你公司内部的所有安全的信息给窃走。
那我就在想说,闭源模型不是在这个方向更不安全吗?
那我就在想说,闭源模型不是在这个方向更不安全吗?
因为你连这个模型在什么时候会输出什么样的东西都完全不了解。
因为你连这个模型在什么时候会输出什么样的东西都完全不了解。
但是开源模型其实是一个在更可控、更受限的这个环境下去执行的一个模型。
但是开源模型其实是一个在更可控、更受限的这个环境下去执行的一个模型。
如果你去做的话,是有更好的办法可以保障模型的安全性。
如果你去做的话,是有更好的办法可以保障模型的安全性。
最后一点就是说,监管总是担心如果我用一个闭源模型,那我至少我能够看到谁在用这个闭源的模型,那我可能能比如说抓到这个滥用这个模型的人。
最后一点就是说,监管总是担心如果我用一个闭源模型,那我至少我能够看到谁在用这个闭源的模型,那我可能能比如说抓到这个滥用这个模型的人。
但开源模型的话,因为大家可以在自己电脑上跑,所以他没有办法做到这个事情。
但开源模型的话,因为大家可以在自己电脑上跑,所以他没有办法做到这个事情。
这个我觉得是一个时间的问题,至少在此时此刻,甚至我相信明年也不会发生这样的事情。
这个我觉得是一个时间的问题,至少在此时此刻,甚至我相信明年也不会发生这样的事情。
一个足够强的开源模型,它的权重还是比较大的。
一个足够强的开源模型,它的权重还是比较大的。
它需要在一个比较复杂的推理环境下才能够正确的去执行。
它需要在一个比较复杂的推理环境下才能够正确的去执行。
所以现在抓手可能就是说谁拥有算力,那他可能去跑开源模型。
所以现在抓手可能就是说谁拥有算力,那他可能去跑开源模型。
只有这些有算力的人才有可能拿开源模型尝试去做一些坏的事情。
只有这些有算力的人才有可能拿开源模型尝试去做一些坏的事情。
所以也并不是完全没有抓手。
所以也并不是完全没有抓手。
所以现在这个时候去聊开源模型一定是不安全的,我觉得还是为时过早。
所以现在这个时候去聊开源模型一定是不安全的,我觉得还是为时过早。
好的,我觉得特别好。
好的,我觉得特别好。
那我们这个播客就到这里结束了,非常非常感谢大家的时间,谢谢。
那我们这个播客就到这里结束了,非常非常感谢大家的时间,谢谢。
谢谢。
谢谢。
好了,以上就是我们这期播客的全部内容了。
好了,以上就是我们这期播客的全部内容了。
国内的听众可以通过小宇宙、苹果播客、网易云音乐、喜马拉雅、QQ音乐、蜻蜓FM、荔枝FM来关注我们;海外的听众可以通过苹果播客和SPOTIFY,或者在YOUTUBE上搜索硅谷101播客来关注我们。
国内的听众可以通过小宇宙、苹果播客、网易云音乐、喜马拉雅、QQ音乐、蜻蜓FM、荔枝FM来关注我们;海外的听众可以通过苹果播客和SPOTIFY,或者在YOUTUBE上搜索硅谷101播客来关注我们。
我们部分的文字稿还会收录在硅谷101的微信公众号上。
我们部分的文字稿还会收录在硅谷101的微信公众号上。
谢谢大家,我们下次再见!
谢谢大家,我们下次再见!
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕,帮助你打破语言障碍,轻松听懂全球优质播客。