本集简介
双语字幕
仅展示文本字幕,不包含中文音频;想边听边看,请使用 Bayt 播客 App。
用声音。
用声音。
碰撞世界。
碰撞世界。
生动活泼与全球创新。
生动活泼与全球创新。
第一时间同步,这里是科技早知道DEEP TECH深科技系列,我是雅娴,欢迎跟我一起探索最新最前沿的硬核科技。
第一时间同步,这里是科技早知道DEEP TECH深科技系列,我是雅娴,欢迎跟我一起探索最新最前沿的硬核科技。
那就在一个多月前,黄仁勋在COMPUTEX2026发布了英伟达的RTX SPARK,那这是第一个面向消费级PC的AI超算芯片。
那就在一个多月前,黄仁勋在COMPUTEX2026发布了英伟达的RTX SPARK,那这是第一个面向消费级PC的AI超算芯片。
This is the rtx spark laptop this agent could run twenty four.
This is the rtx spark laptop this agent could run twenty four.
seven 那它有一个 petaflop 的 ai 算力,128gb 的统一内存,那可以在本地跑120b甚至到200b参数的大模型。
seven 那它有一个 petaflop 的 ai 算力,128gb 的统一内存,那可以在本地跑120b甚至到200b参数的大模型。
所以如果用一句话来形容的话呢,就是把英伟达的一座小型 ai 超算中心塞到了一台笔记本电脑里。
所以如果用一句话来形容的话呢,就是把英伟达的一座小型 ai 超算中心塞到了一台笔记本电脑里。
那几乎也在同一时间,苹果呢在 m5系列上,也是把端侧的 ai 加速到了一个前所未有的程度。
那几乎也在同一时间,苹果呢在 m5系列上,也是把端侧的 ai 加速到了一个前所未有的程度。
以后我们每个人都会拥有一个端侧的 ai 助理,其实已经成为了大家的共识。
以后我们每个人都会拥有一个端侧的 ai 助理,其实已经成为了大家的共识。
this is the first.
this is the first.
Completely reengineered reinvented line of pcs that has happened in forty years .
Completely reengineered reinvented line of pcs that has happened in forty years .
但是怎么样能够让这个助理既记住我们是谁,又能记住我们最近三年甚至是五年做过一些什么,说过一些什么?
但是怎么样能够让这个助理既记住我们是谁,又能记住我们最近三年甚至是五年做过一些什么,说过一些什么?
是一个很大的难题。
是一个很大的难题。
毕竟如果助理没有记忆的话,再聪明也没有办法解决问题。
毕竟如果助理没有记忆的话,再聪明也没有办法解决问题。
那所以呢,我们今天就请到了嘉宾康宏文 henry,他是 clip to ai 的创始人兼 ceo,也是一位连续创业者。
那所以呢,我们今天就请到了嘉宾康宏文 henry,他是 clip to ai 的创始人兼 ceo,也是一位连续创业者。
那他现在在做的呢,是一个在端侧运行的多模态 ai 产品,能够读懂你所有的音视频、图片,还有文档。
那他现在在做的呢,是一个在端侧运行的多模态 ai 产品,能够读懂你所有的音视频、图片,还有文档。
更重要的是呢,他希望能够让端侧的 ai 助手拥有记忆,更好的理解和服务每个用户。
更重要的是呢,他希望能够让端侧的 ai 助手拥有记忆,更好的理解和服务每个用户。
所以呢,我们今天想跟他聊一聊,他如何理解端侧 ai 在未来的机会,那更重要的是如何解决 ai agent 的记忆问题。
所以呢,我们今天想跟他聊一聊,他如何理解端侧 ai 在未来的机会,那更重要的是如何解决 ai agent 的记忆问题。
大家好,我叫康宏文,henry,是做 crypto ai,founder 和 ceo。
大家好,我叫康宏文,henry,是做 crypto ai,founder 和 ceo。
英伟达他们发布了那个RTS Spark,我觉得当时还是引起了一阵轰动的啊。
英伟达他们发布了那个RTS Spark,我觉得当时还是引起了一阵轰动的啊。
就是很多媒体都报道,我不知道你看到这个新闻的时候是一个什么样的反应,然后你怎么理解这件事情?
就是很多媒体都报道,我不知道你看到这个新闻的时候是一个什么样的反应,然后你怎么理解这件事情?
呃我觉得是一个非常兴奋的一个时点吧。
呃我觉得是一个非常兴奋的一个时点吧。
现在的这一代可能很多人都没有听过一个概念叫Mainframe,嗯就大型机对不对?
现在的这一代可能很多人都没有听过一个概念叫Mainframe,嗯就大型机对不对?
大型机时代对吧?
大型机时代对吧?
其实呃我们现在所用的这个电脑,在我们现在所知道的PC个人电脑之前其实是Mainframe。
其实呃我们现在所用的这个电脑,在我们现在所知道的PC个人电脑之前其实是Mainframe。
然后在 mainframe 时代,其实是需要我们每个人去通过远程终端去访问 mainframe 的这个算力。
然后在 mainframe 时代,其实是需要我们每个人去通过远程终端去访问 mainframe 的这个算力。
然后而且可能还需要,不一定你任何时候都能用。
然后而且可能还需要,不一定你任何时候都能用。
还得叫分时复用,这样的这样的一些系统。
还得叫分时复用,这样的这样的一些系统。
但是后来 pc 的这个出现,就让我们每一个消费者,每一个个人拥有了很强的这个算力的 pc。
但是后来 pc 的这个出现,就让我们每一个消费者,每一个个人拥有了很强的这个算力的 pc。
我认为其实像 spark 其实是一个,对于 ai 的这个时代来说,其实就像是一个pc 时代的那个 intel 的这个出现,就带来了整个 ai 的平权,让更多的 ai 可以为个人服务。
我认为其实像 spark 其实是一个,对于 ai 的这个时代来说,其实就像是一个pc 时代的那个 intel 的这个出现,就带来了整个 ai 的平权,让更多的 ai 可以为个人服务。
变成个人的 ai,变成个人的这个真正的个人助理。
变成个人的 ai,变成个人的这个真正的个人助理。
所以我认为它其实是一个标志性事件,是是在这。
所以我认为它其实是一个标志性事件,是是在这。
而且从它技术的规格来说,其实主要突破了两个方面,一个是算力,可以跑这个更大的这个模型,能能够做更强的推理,同时的话它的这个内存,所以它内存大可以跑更,可以容纳更多参数量的这个模型。
而且从它技术的规格来说,其实主要突破了两个方面,一个是算力,可以跑这个更大的这个模型,能能够做更强的推理,同时的话它的这个内存,所以它内存大可以跑更,可以容纳更多参数量的这个模型。
所以它的智力的这个能力也会更强。
所以它的智力的这个能力也会更强。
所以我觉得对于划分 ai 的这个时代来说,我认为spark 的意义其实在这。
所以我觉得对于划分 ai 的这个时代来说,我认为spark 的意义其实在这。
所以我们,作为我们做这个事情,我们看到就是非常兴奋。
所以我们,作为我们做这个事情,我们看到就是非常兴奋。
嗯,哎,那你说大型机相当于什么?
嗯,哎,那你说大型机相当于什么?
现在。
现在。
大型机相当于 OpenAI。
大型机相当于 OpenAI。
啊所以就是一个每个人都去访问的一个集中的云上的这么一个AI的谁?
啊所以就是一个每个人都去访问的一个集中的云上的这么一个AI的谁?
那你觉得你现在怎么样看说这个端侧的AI,比如说像SPARK它以后像我们这种就AIPC吧,然后还有就是像大模型公司他们两个关系是什么样子呢?
那你觉得你现在怎么样看说这个端侧的AI,比如说像SPARK它以后像我们这种就AIPC吧,然后还有就是像大模型公司他们两个关系是什么样子呢?
啊其实整个互联网诞生它其实啊中间也出现了很多次的这个迭代,到后面其实我们就看到整个互联网开始啊呈现层级化对吧,上面的服务也开始逐渐啊有各个生态位,有各个不同的这个角色,所以。
啊其实整个互联网诞生它其实啊中间也出现了很多次的这个迭代,到后面其实我们就看到整个互联网开始啊呈现层级化对吧,上面的服务也开始逐渐啊有各个生态位,有各个不同的这个角色,所以。
在这里面我们去看的话,未来其实 ai 的这个时代其实就类似像互联网一样,那么它在这里面不同的角色,它会承担不同的这个职能。
在这里面我们去看的话,未来其实 ai 的这个时代其实就类似像互联网一样,那么它在这里面不同的角色,它会承担不同的这个职能。
所以其实从大模型来看的话,其实现在我们万亿的这个参数量,那万亿的参数量是无数的这个 gpu 的这个算力资源去训练出来的。
所以其实从大模型来看的话,其实现在我们万亿的这个参数量,那万亿的参数量是无数的这个 gpu 的这个算力资源去训练出来的。
行业黑话来说的话,就是大模型的万亿参数量其实是对整个世界的。
行业黑话来说的话,就是大模型的万亿参数量其实是对整个世界的。
公域知识的一个呃MLE,就是MAXIMUM LIKELIHOOD ESTIMATION,最大的自然估计。
公域知识的一个呃MLE,就是MAXIMUM LIKELIHOOD ESTIMATION,最大的自然估计。
最大公约数它其实是一个对,是的,它其实最大公约数。
最大公约数它其实是一个对,是的,它其实最大公约数。
所以它本质上像OpenAI这样的这些大模型,它应该承担的职责,其实对于社会资源最大化利用的它的一个本质的职责,它应该去存储世界的知识,就我们人的。
所以它本质上像OpenAI这样的这些大模型,它应该承担的职责,其实对于社会资源最大化利用的它的一个本质的职责,它应该去存储世界的知识,就我们人的。
共识通识,这些知识是对于消耗了那么多GPU资源的最大化的这个回报啊。
共识通识,这些知识是对于消耗了那么多GPU资源的最大化的这个回报啊。
所以这是它应该具备的生态位。
所以这是它应该具备的生态位。
所以我觉得这是一个第一性原理。
所以我觉得这是一个第一性原理。
那么换过来说,它不适合做什么?
那么换过来说,它不适合做什么?
就是我们认为它不适合用这么多的参数量和这么大的模型去做成个人的那个知识。
就是我们认为它不适合用这么多的参数量和这么大的模型去做成个人的那个知识。
反过来,所以也就意味着在生态里面其实是缺一个PLAYER,缺一个玩家,缺一个这个能力的提供方去记录和那个存储个人的知识和个人的记忆啊。
反过来,所以也就意味着在生态里面其实是缺一个PLAYER,缺一个玩家,缺一个这个能力的提供方去记录和那个存储个人的知识和个人的记忆啊。
所以这也回到就是为什么我们认为啊,我们要去做CLIP的这个初衷。
所以这也回到就是为什么我们认为啊,我们要去做CLIP的这个初衷。
那我把我个人的知识都上传到云上,云上不也有我的也有我个人的记忆了吗?
那我把我个人的知识都上传到云上,云上不也有我的也有我个人的记忆了吗?
诶,这是很有意思的一个现象,当我们去看我们的用户的时候。
诶,这是很有意思的一个现象,当我们去看我们的用户的时候。
呃,其实我们发现人的天然的倾向是把那些不重要的东西放到网上。
呃,其实我们发现人的天然的倾向是把那些不重要的东西放到网上。
真正对我珍贵的、宝贵的东西,我反而会放在我个人私密的或者是个人的那个呃控制的地方。
真正对我珍贵的、宝贵的东西,我反而会放在我个人私密的或者是个人的那个呃控制的地方。
对,如果你说到这种涉及隐私问题的话,确实是这样的哈。
对,如果你说到这种涉及隐私问题的话,确实是这样的哈。
可能有一些我PRIVATE那种东西,我不想让别人知道的,或者说我觉得我介意,也许会有这种安全问题存在的,我可能确实是不会不太会把它都放到网上去。
可能有一些我PRIVATE那种东西,我不想让别人知道的,或者说我觉得我介意,也许会有这种安全问题存在的,我可能确实是不会不太会把它都放到网上去。
对对对,而且另外还有就是它。
对对对,而且另外还有就是它。
呃,真的放到网上去,它有很多的门槛和那个呃,其实用户需要去越过非常多的门槛和壁垒,对吧?
呃,真的放到网上去,它有很多的门槛和那个呃,其实用户需要去越过非常多的门槛和壁垒,对吧?
那我要去考虑我是不是有网络,然后我要去考虑啊,甚至某些场景下,那个某些服务是不是能访问,对吧?
那我要去考虑我是不是有网络,然后我要去考虑啊,甚至某些场景下,那个某些服务是不是能访问,对吧?
以及有多少存储的成本,有多少这个TOKEN算力消耗的成本啊。
以及有多少存储的成本,有多少这个TOKEN算力消耗的成本啊。
所以其实当一个用户要把他的所有的。
所以其实当一个用户要把他的所有的。
经历所有的记忆交给一个呃开放的网络的时候,他其实需要越过很多的门槛去决策啊。
经历所有的记忆交给一个呃开放的网络的时候,他其实需要越过很多的门槛去决策啊。
所以这是其实是在现实里面其实是挺难的。
所以这是其实是在现实里面其实是挺难的。
呃所以你其实在做的这件事情,第一你是觉得呃现在这个算力或者说是硬件已经达到了我们可以在端侧端侧然后运行一个AI助理或者是AI助手的这么一个程度了。
呃所以你其实在做的这件事情,第一你是觉得呃现在这个算力或者说是硬件已经达到了我们可以在端侧端侧然后运行一个AI助理或者是AI助手的这么一个程度了。
第二你觉得这个助手其实还是缺乏一个呃就是在大家可能不倾向于把所有的数记忆或者自己的所有的资料上传上云端的时候,它其实是需要一个来帮助你记忆的这么一个环节的。
第二你觉得这个助手其实还是缺乏一个呃就是在大家可能不倾向于把所有的数记忆或者自己的所有的资料上传上云端的时候,它其实是需要一个来帮助你记忆的这么一个环节的。
对,对吧?
对,对吧?
对,其实是有一些这个用户他有很明确的选择,我要去做这件事情。
对,其实是有一些这个用户他有很明确的选择,我要去做这件事情。
当然还有很多是潜意识的,呃,包括那我这些数据要上传,其实他就像刚才说,他本身就是要经过很多的挣扎,心理的这个挣扎。
当然还有很多是潜意识的,呃,包括那我这些数据要上传,其实他就像刚才说,他本身就是要经过很多的挣扎,心理的这个挣扎。
但是反过来,如果你的运算、你的这个算力、你的服务已经跟他的数据天然。
但是反过来,如果你的运算、你的这个算力、你的服务已经跟他的数据天然。
在一起他其实就不需要去再做这些选择所以这就变成了潜意识的一个行为所以他不需要明确去选择我要怎么怎么去做所以其实这个对于用户行为来说也是一个呃完全不同的这个分水岭。
在一起他其实就不需要去再做这些选择所以这就变成了潜意识的一个行为所以他不需要明确去选择我要怎么怎么去做所以其实这个对于用户行为来说也是一个呃完全不同的这个分水岭。
嗯就是比如说我就没有没有必要做额外的一步操作对我不用操作不用去我如果上传去云我还要想一想我要首先我要拖一下其次我还要想这个云空间我可能还要多付钱。
嗯就是比如说我就没有没有必要做额外的一步操作对我不用操作不用去我如果上传去云我还要想一想我要首先我要拖一下其次我还要想这个云空间我可能还要多付钱。
对对对对其实他会带来整个用户所有用户行为的变化啊对所以这就是为什么他如果要去构建他的个人的。
对对对对其实他会带来整个用户所有用户行为的变化啊对所以这就是为什么他如果要去构建他的个人的。
呃知识个人的MEMORY以及最终去为他去做个人的AI的这个服务那么在端上其实是那个更加的符合第一性原理。
呃知识个人的MEMORY以及最终去为他去做个人的AI的这个服务那么在端上其实是那个更加的符合第一性原理。
嗯对然后其实你一直在强调就是说你们现在在做这个事情叫MEMORY LAYER嘛对吧我觉得可能可以分成两层来讲啊就是说呃可能先介绍介绍一下CLIP这个产品当然我刚才大概说了一下但是我觉得可能大家还没有一个特别好的这个认知这是第一第二我特特别想听一听你说一下就是说呃现在大家都在BUILD UP这个关于MEMORY的这件事情啊包括其实大模型厂商他们也说我们要这个增加自己的上下文窗口其实这个也是一种优化记忆的措施。
嗯对然后其实你一直在强调就是说你们现在在做这个事情叫MEMORY LAYER嘛对吧我觉得可能可以分成两层来讲啊就是说呃可能先介绍介绍一下CLIP这个产品当然我刚才大概说了一下但是我觉得可能大家还没有一个特别好的这个认知这是第一第二我特特别想听一听你说一下就是说呃现在大家都在BUILD UP这个关于MEMORY的这件事情啊包括其实大模型厂商他们也说我们要这个增加自己的上下文窗口其实这个也是一种优化记忆的措施。
对所以你能不能先说一下CLIP TO在做一件什么样的事情?
对所以你能不能先说一下CLIP TO在做一件什么样的事情?
然后大家现在都为BUILD UP这个记忆层做了一些什么努力?
然后大家现在都为BUILD UP这个记忆层做了一些什么努力?
是就为什么大家都在都在往里面冲对吧?
是就为什么大家都在都在往里面冲对吧?
因为确实AI时代就像互联网早期就像西部大开发的时候,所以在这里面当然选对方向肯定很重要对吧?
因为确实AI时代就像互联网早期就像西部大开发的时候,所以在这里面当然选对方向肯定很重要对吧?
那但是同样就大家也要快速的进去去圈地去那个占领它的这个生态位嘛。
那但是同样就大家也要快速的进去去圈地去那个占领它的这个生态位嘛。
那。
那。
所以说回到那,crypto 是什么?
所以说回到那,crypto 是什么?
crypto 呢,那么我们是一个运行在用户客户端,它的本地 pc 为主,在本地完全百分百本地运行。
crypto 呢,那么我们是一个运行在用户客户端,它的本地 pc 为主,在本地完全百分百本地运行。
然后呢一个应用,那在这个应用里面,用户可以把他的那个硬盘的访问授权,可以把他的外接硬盘呀,甚至是网盘这些数据的访问授权给到 clipper。
然后呢一个应用,那在这个应用里面,用户可以把他的那个硬盘的访问授权,可以把他的外接硬盘呀,甚至是网盘这些数据的访问授权给到 clipper。
clipper 就会底层有10个模型。
clipper 就会底层有10个模型。
啊,包括啊,音频的、视频的,还有一些经典的CV的啊,人脸啊,OCR各种这些模型去进行啊分析,去进行理解,然后把它变成结构化的知识单元。
啊,包括啊,音频的、视频的,还有一些经典的CV的啊,人脸啊,OCR各种这些模型去进行啊分析,去进行理解,然后把它变成结构化的知识单元。
然后呢,在这个知识单元的上层再去构建它整个我们叫时空对齐的一个啊知识记忆系统啊。
然后呢,在这个知识单元的上层再去构建它整个我们叫时空对齐的一个啊知识记忆系统啊。
那有了这个记忆系统之后,我们就呃,用户可以在KEEP TO里面去。
那有了这个记忆系统之后,我们就呃,用户可以在KEEP TO里面去。
随时去访问他的记忆,包括提供比如说首先记忆的一个查找啊。
随时去访问他的记忆,包括提供比如说首先记忆的一个查找啊。
比如说今天我们做了访谈,那3年后,那我我要回头去看诶,我3年前跟小贤在啊聊CLIP,我们聊到一些对未来的预判,当时的观点是什么?
比如说今天我们做了访谈,那3年后,那我我要回头去看诶,我3年前跟小贤在啊聊CLIP,我们聊到一些对未来的预判,当时的观点是什么?
对吧?
对吧?
首先记忆的查找是一个普遍存在的这个需求。
首先记忆的查找是一个普遍存在的这个需求。
就是你的输入可以是多模态,但是你的查找可以是文本。
就是你的输入可以是多模态,但是你的查找可以是文本。
可以是文本、可以是语音,对对,它可以用各种方式去查找,包括首先能够查找和回溯记忆。
可以是文本、可以是语音,对对,它可以用各种方式去查找,包括首先能够查找和回溯记忆。
然后在查找之外的话,还可以在已有的记忆上去做二次的一些生成、做二次的一些加工。
然后在查找之外的话,还可以在已有的记忆上去做二次的一些生成、做二次的一些加工。
包括比如说,那我们比如今天大家达成的一致的共识是什么?
包括比如说,那我们比如今天大家达成的一致的共识是什么?
对未来的预测是什么啊?
对未来的预测是什么啊?
甚至是你把我之前的一一部分记忆作为我们这次跟AGENT那个对话的上下文,或者对话对话的一些背景知识给引入进来,所以它也可以这样去使用你的MEMORY。
甚至是你把我之前的一一部分记忆作为我们这次跟AGENT那个对话的上下文,或者对话对话的一些背景知识给引入进来,所以它也可以这样去使用你的MEMORY。
啊,甚至是一些在啊硬件上面也可以去那个访问和那个啊协同。
啊,甚至是一些在啊硬件上面也可以去那个访问和那个啊协同。
嗯,啊,所以这是我们对整个这个CPTO MEMORY的这样的一个定义。
嗯,啊,所以这是我们对整个这个CPTO MEMORY的这样的一个定义。
啊,当然我们从产品上面的话,我们呃主主要是我们的PC端、MAC和WINDOWS的本地端。
啊,当然我们从产品上面的话,我们呃主主要是我们的PC端、MAC和WINDOWS的本地端。
那除了PC端之外,我们还有WEB端、有云端,然后也有手机端。
那除了PC端之外,我们还有WEB端、有云端,然后也有手机端。
啊,其实是各端它协同去。
啊,其实是各端它协同去。
完整的去维维护和维持这个用户的统一的一个记忆啊。
完整的去维维护和维持这个用户的统一的一个记忆啊。
它端云协同的部分在哪里啊?
它端云协同的部分在哪里啊?
就是我知道刚才你其实形容了,在端侧有很多的功能嘛,可以查找、搜索,包括你本地的一些硬盘的这些都可以。
就是我知道刚才你其实形容了,在端侧有很多的功能嘛,可以查找、搜索,包括你本地的一些硬盘的这些都可以。
但是如果你如果要跟云协同的话。
但是如果你如果要跟云协同的话。
它这个协同呢,呃,首先就是这个记忆的一些协作和分享,因为我们面向的很多是这个职场人士嘛,那我们在工作场景里面,我们可能会需要去跟同事。
它这个协同呢,呃,首先就是这个记忆的一些协作和分享,因为我们面向的很多是这个职场人士嘛,那我们在工作场景里面,我们可能会需要去跟同事。
我把我的一部分记忆或者一部分知识分享给他,对吧?
我把我的一部分记忆或者一部分知识分享给他,对吧?
那这个就需要跨云去做这个协同,以及跟云端的一些算力的协同,因为不是每一个用户他本地端的算力都是非常非常充足的,对吧?
那这个就需要跨云去做这个协同,以及跟云端的一些算力的协同,因为不是每一个用户他本地端的算力都是非常非常充足的,对吧?
甚至是有一些机型,它可能本地连这个独立的显卡都没有,没有独立的这个 ai 算力。
甚至是有一些机型,它可能本地连这个独立的显卡都没有,没有独立的这个 ai 算力。
所以在这种时候,我们其实会用我们的这个端云混合的这个算力架构去帮助用户去构建他的这个 memory。
所以在这种时候,我们其实会用我们的这个端云混合的这个算力架构去帮助用户去构建他的这个 memory。
啊,但这是一个就是一个非常完整的一个体系了。
啊,但这是一个就是一个非常完整的一个体系了。
那其实是不是相当于是对你本地的PC也好、手机也好,对它内存要求就会非常大?
那其实是不是相当于是对你本地的PC也好、手机也好,对它内存要求就会非常大?
呃,好问题。
呃,好问题。
对啊,就是肯定就是你的算力越强,肯定智力越强。
对啊,就是肯定就是你的算力越强,肯定智力越强。
与此同时,其实我们做了非常非常多的工作去兼容各种不同的这个设备。
与此同时,其实我们做了非常非常多的工作去兼容各种不同的这个设备。
说到这点呢,其实也有很多。
说到这点呢,其实也有很多。
因为很多人天然会想,OK,好,你们是做端侧的多模态。
因为很多人天然会想,OK,好,你们是做端侧的多模态。
那我是不是下一个欧拉玛?
那我是不是下一个欧拉玛?
然后扔一个模型进去。
然后扔一个模型进去。
对,欧拉玛相当于是一个开源的,你可以在本地构建模型的这么一个工具。
对,欧拉玛相当于是一个开源的,你可以在本地构建模型的这么一个工具。
对对对吧?
对对对吧?
但是这里面其实就是严重低估了你去构建一个MEMORY系统它所呃需要去就是你会面对的这些挑战啊。
但是这里面其实就是严重低估了你去构建一个MEMORY系统它所呃需要去就是你会面对的这些挑战啊。
那个包括其实刚才说到的,其实。
那个包括其实刚才说到的,其实。
算力是一部分,因为很。
算力是一部分,因为很。
这是很多做呃现在做AI的开发的呃同事可能一开始,包括我们自己,完全没有预估到的就是我们习惯了在云上去开发。
这是很多做呃现在做AI的开发的呃同事可能一开始,包括我们自己,完全没有预估到的就是我们习惯了在云上去开发。
那么云上你去跑一个模型,你可以几乎可以假设云上的一一整台服务器完全是你一个模型独占的啊。
那么云上你去跑一个模型,你可以几乎可以假设云上的一一整台服务器完全是你一个模型独占的啊。
你对云上的算力的这个它的可靠性和可。
你对云上的算力的这个它的可靠性和可。
呃,鲁邦性是呃,你几乎就、就、就完全那个天然、天然信赖了。
呃,鲁邦性是呃,你几乎就、就、就完全那个天然、天然信赖了。
但是在端上,你就会面对一个非常复杂的、非常异构的这样的一个生态,就是每台机器的配置都不一样啊,然后有高配、有低配,同时这台设备不是你独占啊,它是一个多应用、多任务。
但是在端上,你就会面对一个非常复杂的、非常异构的这样的一个生态,就是每台机器的配置都不一样啊,然后有高配、有低配,同时这台设备不是你独占啊,它是一个多应用、多任务。
的协同的一个系统。
的协同的一个系统。
对你有可能在做你这个项目的时候,你可能在同时在看。
对你有可能在做你这个项目的时候,你可能在同时在看。
比如我在在看视频。
比如我在在看视频。
我看个视频呀,对吧?
我看个视频呀,对吧?
我可能开个PPT、POWERPOINT呀,对吧?
我可能开个PPT、POWERPOINT呀,对吧?
所以你要比非常的对于算力资源和用户的体验非常敏感,所以你需要去及时的去智能的去抵去侦测这个用户当前所处的这个环境它的。
所以你要比非常的对于算力资源和用户的体验非常敏感,所以你需要去及时的去智能的去抵去侦测这个用户当前所处的这个环境它的。
这个算力资源可调配的资源怎么样啊?
这个算力资源可调配的资源怎么样啊?
甚至是你的这个应用是不是当前用户的前台应用,还是说用户有其他的应用是在前台啊?
甚至是你的这个应用是不是当前用户的前台应用,还是说用户有其他的应用是在前台啊?
再往上才是到你可以去优化模型的这个阶段啊。
再往上才是到你可以去优化模型的这个阶段啊。
那么我们需要去做的就是。
那么我们需要去做的就是。
针对不同的这些算力结果,我们需要智能地去侦测当前设备的资源情况,而且要实时地去调度你的所有的模型啊、所有的这些任务,高效地去处理。
针对不同的这些算力结果,我们需要智能地去侦测当前设备的资源情况,而且要实时地去调度你的所有的模型啊、所有的这些任务,高效地去处理。
同时又还要去啊,非常对用户的这个体验尊重和保障。
同时又还要去啊,非常对用户的这个体验尊重和保障。
上次我体验了一下CLIP TO这个产品,上次也跟你说过,我感觉有点……当然可能不太恰当,我觉得它有点像这个多模态的NOTEBOOK LM。
上次我体验了一下CLIP TO这个产品,上次也跟你说过,我感觉有点……当然可能不太恰当,我觉得它有点像这个多模态的NOTEBOOK LM。
就是你会,你都不用扔、不用做扔上去那个动作。
就是你会,你都不用扔、不用做扔上去那个动作。
因为它是在端侧的,就是呃,你有所有的素材,然后你可以用文字的形式跟他对话,然后他可以把不管是视频的、音频的,然后呃,比如说我当时问了他一个,就是说呃,帮我找找马斯克说了什么。
因为它是在端侧的,就是呃,你有所有的素材,然后你可以用文字的形式跟他对话,然后他可以把不管是视频的、音频的,然后呃,比如说我当时问了他一个,就是说呃,帮我找找马斯克说了什么。
嗯,然后他可能视频素材里头恰好有很多跟马斯克相关的,他他上过很多播客嘛,然后他就会把出现马斯克的视频全都给你抓出来。
嗯,然后他可能视频素材里头恰好有很多跟马斯克相关的,他他上过很多播客嘛,然后他就会把出现马斯克的视频全都给你抓出来。
然后比如说我问马斯克关于Space X说了什么,然后他会总结一下就是说马斯克说了Space X什么什么时候要要上市,然后我为什么要跟XAI合并对对对就等等等这些内容。
然后比如说我问马斯克关于Space X说了什么,然后他会总结一下就是说马斯克说了Space X什么什么时候要要上市,然后我为什么要跟XAI合并对对对就等等等这些内容。
对啊当然对我当时对我短短暂的体验来讲就是Notebook LM它识别的主要还是文字素材,当然YouTube Link你给他他其实可以把字幕扒下来的对,但是如果是一些本地的确实存在我这很大体量的一个视频素材的话,呃Crypto确实是可以实现帮帮我理解的这么一个一个功能。
对啊当然对我当时对我短短暂的体验来讲就是Notebook LM它识别的主要还是文字素材,当然YouTube Link你给他他其实可以把字幕扒下来的对,但是如果是一些本地的确实存在我这很大体量的一个视频素材的话,呃Crypto确实是可以实现帮帮我理解的这么一个一个功能。
就是因为我们。
就是因为我们。
其实 Crypto 要做的事情是一个非常复杂的系统,所以很多时候当我们去给人介绍的时候,如果很难的话,我们会用一些类比。
其实 Crypto 要做的事情是一个非常复杂的系统,所以很多时候当我们去给人介绍的时候,如果很难的话,我们会用一些类比。
比如说我们是多模态的这个 Notebook LM,对吧?
比如说我们是多模态的这个 Notebook LM,对吧?
那当然对于其他的一部分用户,可能比如说对于创作者,对于经常做这个视频视频创作的这些用户,我们会说我们就像是这个Google Photos,那但是是对,为你本地的这个,这些素材服务的这个Google Photos。
那当然对于其他的一部分用户,可能比如说对于创作者,对于经常做这个视频视频创作的这些用户,我们会说我们就像是这个Google Photos,那但是是对,为你本地的这个,这些素材服务的这个Google Photos。
嗯。
嗯。
对。
对。
嗯,对。
嗯,对。
然后对,就然后来到刚才那个问题,就是现在大家对于这个模型的记忆,这些事情都做了一些什么?
然后对,就然后来到刚才那个问题,就是现在大家对于这个模型的记忆,这些事情都做了一些什么?
我比如说,我觉得可能比如说在一年前或者一年多前,大家会讲的是 context engineering,啊,就是说我怎么样能让在模型里头塞进去尽可能多的上下文。
我比如说,我觉得可能比如说在一年前或者一年多前,大家会讲的是 context engineering,啊,就是说我怎么样能让在模型里头塞进去尽可能多的上下文。
对,我不知道还有一些什么其他的这个优化记忆的手开。
对,我不知道还有一些什么其他的这个优化记忆的手开。
我觉得很有意思的是,大家开始都开始意识到这个MEMORY的重要性了。
我觉得很有意思的是,大家开始都开始意识到这个MEMORY的重要性了。
我觉得首先这是第一,我觉得是让我们非常觉得很、很、很、很兴奋的一点,就大家开始意识到这个事儿。
我觉得首先这是第一,我觉得是让我们非常觉得很、很、很、很兴奋的一点,就大家开始意识到这个事儿。
那呃,同时的话我们也看到其实有很多的实现路径,对吧?
那呃,同时的话我们也看到其实有很多的实现路径,对吧?
像CONTEXT,像这个RAG啊,包括最近有很多的在嗯模型层啊自身去做,比如说通过LAURA啊,通过这些方式。
像CONTEXT,像这个RAG啊,包括最近有很多的在嗯模型层啊自身去做,比如说通过LAURA啊,通过这些方式。
去自身去优化,然后把用户的一些呃个性化、用户的一些数据去啊把它呃训练ENCOD成这个模型的这个参数啊,让模型具备一定的这个个人化的对用户的这这个理解吧。
去自身去优化,然后把用户的一些呃个性化、用户的一些数据去啊把它呃训练ENCOD成这个模型的这个参数啊,让模型具备一定的这个个人化的对用户的这这个理解吧。
所以这里面呢,我们都看到一个核心的一个组的一个趋势,就是大家都开始意识到模型本身的智力。
所以这里面呢,我们都看到一个核心的一个组的一个趋势,就是大家都开始意识到模型本身的智力。
是不够的,用户更需要有个性化。
是不够的,用户更需要有个性化。
用户更需要带上他的这种知识和记忆。
用户更需要带上他的这种知识和记忆。
模型本身的智力不够是什么意思?
模型本身的智力不够是什么意思?
哦,不是说智力不够,是就单有智力是不够的啊。
哦,不是说智力不够,是就单有智力是不够的啊。
单有智力是不够的,就像我们一直说的,就是一个聪明的天才没有记忆,他也只是一个一个失忆的一个一个聪明人,单单靠智力是不够去那个服务用户的。
单有智力是不够的,就像我们一直说的,就是一个聪明的天才没有记忆,他也只是一个一个失忆的一个一个聪明人,单单靠智力是不够去那个服务用户的。
我觉得很有意思就是。
我觉得很有意思就是。
就或者说我们很窃喜,就是我们看到的呃整个现在已有的呃实现,没有一个能够呃跟我们去那个同场竞技的。
就或者说我们很窃喜,就是我们看到的呃整个现在已有的呃实现,没有一个能够呃跟我们去那个同场竞技的。
比如说现在大部分的MEMORY,大家在做的MEMORY其实还是呃在已有的大模型的基座上去贴层壳套一层,比如说CONTACT WINDOW对吧?
比如说现在大部分的MEMORY,大家在做的MEMORY其实还是呃在已有的大模型的基座上去贴层壳套一层,比如说CONTACT WINDOW对吧?
那你CONTACT WINDOW你能够提供多大?
那你CONTACT WINDOW你能够提供多大?
你能够提供一个一个 terabytes 的数据吗?
你能够提供一个一个 terabytes 的数据吗?
对吧,你不可想象。
对吧,你不可想象。
就是所以所以 context window 的问题是,也许你跟他说的最近这几个月说的还行。
就是所以所以 context window 的问题是,也许你跟他说的最近这几个月说的还行。
但是更多的不是真正意义上的,不是真正意义上的 memory。
但是更多的不是真正意义上的,不是真正意义上的 memory。
这是第一,第二就是包括像一些像 laura 各种这些实现方式,那么他从一个是他能够提供的记忆有限,这是这是一个都还这都还不是最最最致命的问题。
这是第一,第二就是包括像一些像 laura 各种这些实现方式,那么他从一个是他能够提供的记忆有限,这是这是一个都还这都还不是最最最致命的问题。
第二个,它真正意义上FUNDAMENTALLY就是本质上最大的问题,还是它没有脱离大模型MLE的本质框架。
第二个,它真正意义上FUNDAMENTALLY就是本质上最大的问题,还是它没有脱离大模型MLE的本质框架。
所以说它能够提供的记忆是什么?
所以说它能够提供的记忆是什么?
是它能提供的记忆是哦,HENRY是四川人,然后他喜欢吃辣,他喜欢旅行,而且甚至这个喜欢它是一个概率。
是它能提供的记忆是哦,HENRY是四川人,然后他喜欢吃辣,他喜欢旅行,而且甚至这个喜欢它是一个概率。
它90.054%的概率喜欢,所以它是本质上还是没有脱离MLE的整个这个大的这个框架。
它90.054%的概率喜欢,所以它是本质上还是没有脱离MLE的整个这个大的这个框架。
所以它没有办法去精准地PINPOINT到我3年前采访ELON MUSK,然后当时在哪天哪个下午几点钟,在那个会谈里面说到了呃哪一个话题。
所以它没有办法去精准地PINPOINT到我3年前采访ELON MUSK,然后当时在哪天哪个下午几点钟,在那个会谈里面说到了呃哪一个话题。
这种啊,实事实记忆其实它不适合用现有的这些MEMORY的框架来去提供。
这种啊,实事实记忆其实它不适合用现有的这些MEMORY的框架来去提供。
更不用说我们几乎每个人现在我们面面临的个人数据都是在TB量级,甚至是对于一些专业的一些工作者或者是创作者,他们的量级是百TB量级啊。
更不用说我们几乎每个人现在我们面面临的个人数据都是在TB量级,甚至是对于一些专业的一些工作者或者是创作者,他们的量级是百TB量级啊。
所以这样的数据它我们不可想象这些数据能够FIT IN到一个CONTEXT WINDOW,能够用一个LAURA去完整的去那个捕获对吧?
所以这样的数据它我们不可想象这些数据能够FIT IN到一个CONTEXT WINDOW,能够用一个LAURA去完整的去那个捕获对吧?
所以。
所以。
这是我们看到,其实本质上大家都还没有跳出大模型的它的本质的这个呃原生的框架去提供记忆。
这是我们看到,其实本质上大家都还没有跳出大模型的它的本质的这个呃原生的框架去提供记忆。
而像CLIP TO这样能够完整的去把一个人的整个甚至一生的记忆全部无损的CAPTURE保留下来的整个市场,我们现在没有看到任何的第二家。
而像CLIP TO这样能够完整的去把一个人的整个甚至一生的记忆全部无损的CAPTURE保留下来的整个市场,我们现在没有看到任何的第二家。
我觉得我真的需要把我一生的记忆都就就比如说我首先我不是一个创作者啊,那我我我我会觉得好像就是用智能手机,比如说拍视频或拍照片。
我觉得我真的需要把我一生的记忆都就就比如说我首先我不是一个创作者啊,那我我我我会觉得好像就是用智能手机,比如说拍视频或拍照片。
好像也就是最近可能十年的事情,然后你像我们父母那一代可能甚至没有这些东西。
好像也就是最近可能十年的事情,然后你像我们父母那一代可能甚至没有这些东西。
但是我就是我真的需要。
但是我就是我真的需要。
我真的需要这个这么大的一个,那就是这个问题。
我真的需要这个这么大的一个,那就是这个问题。
技术在进步,对?
技术在进步,对?
那你现在还能离开智能手机吗?
那你现在还能离开智能手机吗?
对吧?
对吧?
就是其实有有用户就是说我有过去五年我们公司内部的各种啊记录的音频、视频。
就是其实有有用户就是说我有过去五年我们公司内部的各种啊记录的音频、视频。
我想把它全部。
我想把它全部。
放到CLIP里面来去那个留存,把它变成啊记忆可二次复用啊。
放到CLIP里面来去那个留存,把它变成啊记忆可二次复用啊。
所以其实技术的进步,大家啊其实是想要有更长久、更更多的这个记忆留存的对。
所以其实技术的进步,大家啊其实是想要有更长久、更更多的这个记忆留存的对。
所以其实记忆就可以约等于是我过去的个人所有个人数据。
所以其实记忆就可以约等于是我过去的个人所有个人数据。
约等于但但是我们有一句话叫嗯我们每个人都是DATA RICH。
约等于但但是我们有一句话叫嗯我们每个人都是DATA RICH。
但是MEMORY POOR,就是数据和记忆不是它,是约等于关系,甚至是小于、远远小于或者小于等于MEMORY。
但是MEMORY POOR,就是数据和记忆不是它,是约等于关系,甚至是小于、远远小于或者小于等于MEMORY。
你说你说数据小于MEMORY.
你说你说数据小于MEMORY.
对对,就是说光有数据是不行的,对吧?
对对,就是说光有数据是不行的,对吧?
就是我们有海量的数据,在我们的这个硬盘上,在我们的移动硬盘上,但是这些数据。
就是我们有海量的数据,在我们的这个硬盘上,在我们的移动硬盘上,但是这些数据。
如果它没有被结构化,没有被memory化,你几乎是不可二次复用的。
如果它没有被结构化,没有被memory化,你几乎是不可二次复用的。
就像刚才说到的3年前采访的elon musk的那个事情对吧?
就像刚才说到的3年前采访的elon musk的那个事情对吧?
它裸数据一直在那。
它裸数据一直在那。
我明白你说的记忆是基于对数据的理解以后构建出来的一些精华。
我明白你说的记忆是基于对数据的理解以后构建出来的一些精华。
是的是的是的,只有是可查找可复用那个可执行的这些记忆才叫记忆,否则纯数据是不叫记忆的。
是的是的是的,只有是可查找可复用那个可执行的这些记忆才叫记忆,否则纯数据是不叫记忆的。
哦哦这是一个比较有趣的点啊。
哦哦这是一个比较有趣的点啊。
我我倾向于把记忆理解成我硬盘里头所有的东西。
我我倾向于把记忆理解成我硬盘里头所有的东西。
那。
那。
这就这就是现在大家缺的嘛。
这就这就是现在大家缺的嘛。
就我有很多data我有很多数据就是我们每个人都是。
就我有很多data我有很多数据就是我们每个人都是。
坐在一个矿金矿上面,但是直到这些这些黄金被挖掘、被清洗、被提炼出来,我还是个穷人。
坐在一个矿金矿上面,但是直到这些这些黄金被挖掘、被清洗、被提炼出来,我还是个穷人。
对对当模型比如说它参数越做越大的时候,其实它会提供越来越多的这个context window。
对对当模型比如说它参数越做越大的时候,其实它会提供越来越多的这个context window。
其实我看到的一个问题是说,其实你在把大量的上下文塞给模型的时候,其实你必然面临压缩,你但是一旦压缩以后,你必然会有东西丢失,你的精确性其实是会降低的。
其实我看到的一个问题是说,其实你在把大量的上下文塞给模型的时候,其实你必然面临压缩,你但是一旦压缩以后,你必然会有东西丢失,你的精确性其实是会降低的。
对对对,前段时间我也是听了一个播客,也是硅谷那边有一个公司叫ingram,你刚才其实也有提到嘛,现在一种方法它其实是要把呃就是持续学习,现在在硅谷也非常热嘛,就是因为你的大模型训好了以后,其实你新的记忆它是没有办法形成的。
对对对,前段时间我也是听了一个播客,也是硅谷那边有一个公司叫ingram,你刚才其实也有提到嘛,现在一种方法它其实是要把呃就是持续学习,现在在硅谷也非常热嘛,就是因为你的大模型训好了以后,其实你新的记忆它是没有办法形成的。
只能说你可能用户外挂一个自己的可能数据库啊之类,用REG的方式进行搜索。
只能说你可能用户外挂一个自己的可能数据库啊之类,用REG的方式进行搜索。
然后英格兰他们做的事情其实他们就是在他提炼一些信息,然后重新去做对这个模型进行一个TRAINING,然后把这个你的记忆TRAINING到这个模型的参数里头,这样你的这个模型就有了一个新的对你的模型就自带一个记忆。
然后英格兰他们做的事情其实他们就是在他提炼一些信息,然后重新去做对这个模型进行一个TRAINING,然后把这个你的记忆TRAINING到这个模型的参数里头,这样你的这个模型就有了一个新的对你的模型就自带一个记忆。
当然当然人家肯定有很多更深的一些技术的一些突破和那个贡献了。
当然当然人家肯定有很多更深的一些技术的一些突破和那个贡献了。
但是从我们至少我们能看到的所有的技术分析和那个报道来看,它还是没有跳出最大公约数的最底层的这个技术路线啊。
但是从我们至少我们能看到的所有的技术分析和那个报道来看,它还是没有跳出最大公约数的最底层的这个技术路线啊。
所以还是会面面临这个问题,就它本质上并不是真正意义上的一个个人的一个呃常识的这个记忆。
所以还是会面面临这个问题,就它本质上并不是真正意义上的一个个人的一个呃常识的这个记忆。
所以常识就是整个生命周期的这样的一个记忆,本质它还只是一个让模型具备一定的个性化。
所以常识就是整个生命周期的这样的一个记忆,本质它还只是一个让模型具备一定的个性化。
在AI时代之前啊,呃,也有一些公司可能想要做什么第二大脑。
在AI时代之前啊,呃,也有一些公司可能想要做什么第二大脑。
比如说像有一个笔记工具叫EverNote,对对对,其实我以前也用过,我觉得还是挺好用的。
比如说像有一个笔记工具叫EverNote,对对对,其实我以前也用过,我觉得还是挺好用的。
但是他们当时也是想我们想要打造,就等我们有了用户所有的数据、所有的笔记以后,都想要打造一个第二大脑。
但是他们当时也是想我们想要打造,就等我们有了用户所有的数据、所有的笔记以后,都想要打造一个第二大脑。
但是后来其实他们也就就是一个笔记工具,对对对对,对你你觉得他们有什么没有做对?
但是后来其实他们也就就是一个笔记工具,对对对对,对你你觉得他们有什么没有做对?
为什么他们没成功?
为什么他们没成功?
我觉得做对正确。
我觉得做对正确。
有很少的路径失败,可以有很多路径。
有很少的路径失败,可以有很多路径。
所以说它为什么失败?
所以说它为什么失败?
我觉得这个有很多、很多、很多、很多原因吧。
我觉得这个有很多、很多、很多、很多原因吧。
我觉得就里面几个我们认为几个比较明显的就是第一,当然肯定是多模态对吧?
我觉得就里面几个我们认为几个比较明显的就是第一,当然肯定是多模态对吧?
那在那个在那个时代,其实它AI的能力对吧?
那在那个在那个时代,其实它AI的能力对吧?
AI的能力和算力其实是不足以去支撑啊所有的这些多模态呀这些分析,所以它。
AI的能力和算力其实是不足以去支撑啊所有的这些多模态呀这些分析,所以它。
基本还是停留在以文本为主的这种形态嘛。
基本还是停留在以文本为主的这种形态嘛。
第二,就是还是像我们刚才说的,那你如果真的要做成一个个人的记忆系统,那我是需要把我的所有的记忆、所有的数据能够没有任何门槛,对吧?
第二,就是还是像我们刚才说的,那你如果真的要做成一个个人的记忆系统,那我是需要把我的所有的记忆、所有的数据能够没有任何门槛,对吧?
无脑的全部放进来的,在那个时候你有AI,AI是一个问题。
无脑的全部放进来的,在那个时候你有AI,AI是一个问题。
第二,算力对吧?
第二,算力对吧?
你。
你。
天然的就遇到,那你如果导进来肯定应该是在端上做对吧?
天然的就遇到,那你如果导进来肯定应该是在端上做对吧?
所以其实在那个生态下AI模型的能力也不够,然后你要去做那天然的你要在端上去做它的这个算力几乎是为零的。
所以其实在那个生态下AI模型的能力也不够,然后你要去做那天然的你要在端上去做它的这个算力几乎是为零的。
其实你说到做memory layer啊,就是呃像clipto肯定也不是唯一提出的。
其实你说到做memory layer啊,就是呃像clipto肯定也不是唯一提出的。
嗯呃其实呃美国有一家公司叫meme零叫meme zero,meme zero对,他们其实也他们最近也是融资了2400万吧,他们其实也是在做一个类似于memory layer的东西。
嗯呃其实呃美国有一家公司叫meme零叫meme zero,meme zero对,他们其实也他们最近也是融资了2400万吧,他们其实也是在做一个类似于memory layer的东西。
对对对,他们是YC的公司,对对对对,他们是YC孵化的一个公司啊。
对对对,他们是YC的公司,对对对对,他们是YC孵化的一个公司啊。
对我不知道你你们就是你怎么看待这家公司,然后你们的区别是。
对我不知道你你们就是你怎么看待这家公司,然后你们的区别是。
诶,我觉得很有意思。
诶,我觉得很有意思。
因为我们也很密切地在去关注整个生态的各种这些发展吧。
因为我们也很密切地在去关注整个生态的各种这些发展吧。
当然,呃,从MEMORY零、MEMORY ZERO他们的这个呃产品来说的话,他们还是更多的是在云上嘛,更多的是给这些依赖大模型服务的这些公司去提供这个呃MEMORY的这个能力和服务吧。
当然,呃,从MEMORY零、MEMORY ZERO他们的这个呃产品来说的话,他们还是更多的是在云上嘛,更多的是给这些依赖大模型服务的这些公司去提供这个呃MEMORY的这个能力和服务吧。
我觉得。
我觉得。
从整个大的方向来说,我觉得第一是很有意思。
从整个大的方向来说,我觉得第一是很有意思。
我们觉得很有意思的是,它印证了我们的对未来的判断和价值观和世界观。
我们觉得很有意思的是,它印证了我们的对未来的判断和价值观和世界观。
我觉得这个是印证了。
我觉得这个是印证了。
但另外一方面的话,M M零其实相当于做了我们可能1/10的工作,它只是做了做了云上的这个服务的能力嘛。
但另外一方面的话,M M零其实相当于做了我们可能1/10的工作,它只是做了做了云上的这个服务的能力嘛。
啊,所以其实从整个技术复杂度和它能够去。
啊,所以其实从整个技术复杂度和它能够去。
服务的这个市场来说,我觉得可能1/10我们的这个规模吧。
服务的这个市场来说,我觉得可能1/10我们的这个规模吧。
诶,你觉得如果要在云上做MEMORY LAYER和在端侧做MEMORY LAYER,这两个是同一个这个困难度的事情吗?
诶,你觉得如果要在云上做MEMORY LAYER和在端侧做MEMORY LAYER,这两个是同一个这个困难度的事情吗?
是完全不是,就是一样的。
是完全不是,就是一样的。
就是云上的可以依赖所有云已经具备的这些那个呃技术架构和生态啊,那就刚才说的所有那些端上的挑战它。
就是云上的可以依赖所有云已经具备的这些那个呃技术架构和生态啊,那就刚才说的所有那些端上的挑战它。
都没有没有去那个碰过。
都没有没有去那个碰过。
嗯比如说云上它已经有比如说英伟达大家都用的是英伟达的卡然后都用的是这个。
嗯比如说云上它已经有比如说英伟达大家都用的是英伟达的卡然后都用的是这个。
库的对对对都都用它就用AWS用Azure对吧这些就就就OK了呀。
库的对对对都都用它就用AWS用Azure对吧这些就就就OK了呀。
嗯对啊所以不过这个也证实了相当于是做Memory Layer是一个大家都认可的很重要的东西。
嗯对啊所以不过这个也证实了相当于是做Memory Layer是一个大家都认可的很重要的东西。
所以我们看到越来越多嗯生态大家意识到这个记忆Memory的这个重要性。
所以我们看到越来越多嗯生态大家意识到这个记忆Memory的这个重要性。
对然后其实我之前也跟你说到我觉得这个关于记忆这件事啊你比如说拿人的记忆来讲啊它其实也不是什么东西都记得啊比如说也许记得我爸的手机号能记得很清楚但是我上个星期住的酒店的门牌号我已经忘了这件事情对你构建这个Memory Layer来说会有做一些什么样。
对然后其实我之前也跟你说到我觉得这个关于记忆这件事啊你比如说拿人的记忆来讲啊它其实也不是什么东西都记得啊比如说也许记得我爸的手机号能记得很清楚但是我上个星期住的酒店的门牌号我已经忘了这件事情对你构建这个Memory Layer来说会有做一些什么样。
我觉得会有一些启发在于我们去为用户提供服务的时候对吧那么我们可能会有一些hot memory.
我觉得会有一些启发在于我们去为用户提供服务的时候对吧那么我们可能会有一些hot memory.
就是热的记忆区,有一些冷记忆区,就跟存储大概大家是一个一个一个逻辑。
就是热的记忆区,有一些冷记忆区,就跟存储大概大家是一个一个一个逻辑。
就是离得越近的可能就找起来越快,远一点的可能就搬运起来慢一点。
就是离得越近的可能就找起来越快,远一点的可能就搬运起来慢一点。
对对,可能会有这样的一些那个呃启发吧。
对对,可能会有这样的一些那个呃启发吧。
但是另外一个方面就是我们对技术的预期,不是一直都在期望它突破我们的这个生物极限嘛?
但是另外一个方面就是我们对技术的预期,不是一直都在期望它突破我们的这个生物极限嘛?
啊,如果我真能够记住。
啊,如果我真能够记住。
我上个星期上个月住的这个酒店的这个门牌号甚至能够记住啊我在哪个地方掉落了我的呃耳塞你不想要。
我上个星期上个月住的这个酒店的这个门牌号甚至能够记住啊我在哪个地方掉落了我的呃耳塞你不想要。
吗你觉得这种选择性的记忆其实是由于生物的生物进化不得让我们不得不这么选择因为我们就这么多能量只能选择记这些东西但是如果都能记住是最好的。
吗你觉得这种选择性的记忆其实是由于生物的生物进化不得让我们不得不这么选择因为我们就这么多能量只能选择记这些东西但是如果都能记住是最好的。
是呀对吧我们肯定想要啊对吧就是呃但是从最后我们系统设计的角度来说会去参考一些仿生学对吧去用这样的符合我们人的天然的这个需求的方式去优化我们的系统啊但是与此同时我们还是可以去更强的去增强我们的系统增强我们的记忆。
是呀对吧我们肯定想要啊对吧就是呃但是从最后我们系统设计的角度来说会去参考一些仿生学对吧去用这样的符合我们人的天然的这个需求的方式去优化我们的系统啊但是与此同时我们还是可以去更强的去增强我们的系统增强我们的记忆。
如果现在想要打造一个你现在说的这个MEMORY LAYER的话,需要做一些什么样的事情?
如果现在想要打造一个你现在说的这个MEMORY LAYER的话,需要做一些什么样的事情?
呃,我们对MEMORY LAYER的构想大概有这么几层吧。
呃,我们对MEMORY LAYER的构想大概有这么几层吧。
就是首先它需要有啊数据的导入,这个数据导入它应该几乎是无感的,比如说我们会啊跟它的所有的数据做整合,不只是本地的,还有云端的,已有的,甚至是甚至是跟。
就是首先它需要有啊数据的导入,这个数据导入它应该几乎是无感的,比如说我们会啊跟它的所有的数据做整合,不只是本地的,还有云端的,已有的,甚至是甚至是跟。
那个智能设备做整合,对吧?
那个智能设备做整合,对吧?
跟眼镜做整合,去去结合。
跟眼镜做整合,去去结合。
把所有的任何在产生数据的数据源全部都对接入这些数据进来之后,它就需要去对这些数据去进行理解,然后去把中间的这样的一些原子化的这个信息给提炼出来,以及在上层基于这些原子化信息去构建它的一个这个。
把所有的任何在产生数据的数据源全部都对接入这些数据进来之后,它就需要去对这些数据去进行理解,然后去把中间的这样的一些原子化的这个信息给提炼出来,以及在上层基于这些原子化信息去构建它的一个这个。
啊,知识、知识体系啊,知识体系。
啊,知识、知识体系啊,知识体系。
然后这是这是知识层对吧?
然后这是这是知识层对吧?
下面是模型层,上面是知识层。
下面是模型层,上面是知识层。
然后有了知识层之后,那再上层就是我们叫AGENT的层,就是它的最后所有的这些知识可能会以一个AGENT的方式来去那个跟用户去交互,为用户去提供这个服务。
然后有了知识层之后,那再上层就是我们叫AGENT的层,就是它的最后所有的这些知识可能会以一个AGENT的方式来去那个跟用户去交互,为用户去提供这个服务。
除了这个AGENT之外,那么当我们需要跟。
除了这个AGENT之外,那么当我们需要跟。
别的AGENT或跟别的这个那个同事朋友去共享我的MEMORY的时候,那么我们可能还会利用比如说MCP啊、利用其他的API啊这样的一些方式,把我的这个记忆去跟生态去做连接。
别的AGENT或跟别的这个那个同事朋友去共享我的MEMORY的时候,那么我们可能还会利用比如说MCP啊、利用其他的API啊这样的一些方式,把我的这个记忆去跟生态去做连接。
对我还是拿刚才那个NOTEBOOK LM那个产品来举例啊,就是你们除了把这个理解扩展到多模态以外,还有什么其他的吗?
对我还是拿刚才那个NOTEBOOK LM那个产品来举例啊,就是你们除了把这个理解扩展到多模态以外,还有什么其他的吗?
我现在就我还是很难跳出说它是一个多模态的NOTEBOOK LM的这么一个。
我现在就我还是很难跳出说它是一个多模态的NOTEBOOK LM的这么一个。
这么一个想法啊。
这么一个想法啊。
嗯呃,当然NOTEBOOK L其实是一个很好的一个对标吧。
嗯呃,当然NOTEBOOK L其实是一个很好的一个对标吧。
它其实也做了DATA INJECTION,对吧?
它其实也做了DATA INJECTION,对吧?
数据导入。
数据导入。
当然除这之外,首先几个大的改变,一个就是多模态,对吧?
当然除这之外,首先几个大的改变,一个就是多模态,对吧?
这个无可厚非,其实是本身就是一个非常非常复杂的一个问题,以及多模态之外,你要把所有的这个NOTEBOOK L所依赖的。
这个无可厚非,其实是本身就是一个非常非常复杂的一个问题,以及多模态之外,你要把所有的这个NOTEBOOK L所依赖的。
整个云的,我们还只是当然只是画约等号啊。
整个云的,我们还只是当然只是画约等号啊。
把云的整套的这个架构全部搬到端侧,对吧?
把云的整套的这个架构全部搬到端侧,对吧?
搬到端侧,然后以及在端侧那个去构建它的整个知识的这个架构。
搬到端侧,然后以及在端侧那个去构建它的整个知识的这个架构。
其实我认为NOTEBOOK M它是可以那个呃帮你去做一些分析,但是它其实在于整个它的定位,并还不是一个构建整个人的记忆这样的一个定位。
其实我认为NOTEBOOK M它是可以那个呃帮你去做一些分析,但是它其实在于整个它的定位,并还不是一个构建整个人的记忆这样的一个定位。
其实NOTEBOOK M它的。
其实NOTEBOOK M它的。
呃,我们看到它比较适合的应用场景可能是一些做一些调研、做一些PROJECT,对吧?
呃,我们看到它比较适合的应用场景可能是一些做一些调研、做一些PROJECT,对吧?
它都还不是没有去把它串联起来,构成一整个它的这个个人MEMORY这样的一个一个系统。
它都还不是没有去把它串联起来,构成一整个它的这个个人MEMORY这样的一个一个系统。
因为天然的LOCAL GAME它就是在云上,所以它如果要往去往个人记忆去做,那么必然会遇到跟端。
因为天然的LOCAL GAME它就是在云上,所以它如果要往去往个人记忆去做,那么必然会遇到跟端。
要要往端侧去,去落的这样的一个啊,一个壁垒啊。
要要往端侧去,去落的这样的一个啊,一个壁垒啊。
所以这也是我们认为他们在选择上更多的其实是在做一些RESEARCH的一些助理这样的一种场景去做的这个本质的一些原因吧。
所以这也是我们认为他们在选择上更多的其实是在做一些RESEARCH的一些助理这样的一种场景去做的这个本质的一些原因吧。
啊,所以其实从产品形态和从技术上面来说,其实如果我们不得不去类比NOTEBOOK M,那么大概是这些差异。
啊,所以其实从产品形态和从技术上面来说,其实如果我们不得不去类比NOTEBOOK M,那么大概是这些差异。
但实际上当你要去。
但实际上当你要去。
真的去定义一个个人MEMORY的时候,那其实你要做的东西远远多于就是刚才说的那些事情。
真的去定义一个个人MEMORY的时候,那其实你要做的东西远远多于就是刚才说的那些事情。
假如说我们已现在已经有了这个个人MEMORY,你觉得我们可以用来干什么?
假如说我们已现在已经有了这个个人MEMORY,你觉得我们可以用来干什么?
呃,首先第一是那个查找,查找肯定是一个当你有了MEMORY之后第一件频繁刚需去做的,肯定是查找。
呃,首先第一是那个查找,查找肯定是一个当你有了MEMORY之后第一件频繁刚需去做的,肯定是查找。
然后在检索上面,那天然的我要去做这个合成。
然后在检索上面,那天然的我要去做这个合成。
做生成,我要去做一个我不想再去看一个那2个小时的这个视频。
做生成,我要去做一个我不想再去看一个那2个小时的这个视频。
展开剩余字幕(还有 205 条)
那我想你直接给我一个呃那个总结和摘要,甚至是我的这个呃MEMORY。
那我想你直接给我一个呃那个总结和摘要,甚至是我的这个呃MEMORY。
未来跟我的所有的AI的场景天然的存在,比如说我未来跟ChatGPT聊的时候,我未来跟CLOUD聊的时候,我的MEMORY都会作为一个第三AGENT存在,会参与。
未来跟我的所有的AI的场景天然的存在,比如说我未来跟ChatGPT聊的时候,我未来跟CLOUD聊的时候,我的MEMORY都会作为一个第三AGENT存在,会参与。
比如说我们现在在这讨论,可能我的AGENT就在旁边,会告诉我说:诶,这个事情你其实可以基于之前的这个那个信息,你可以再补充一补充一点。
比如说我们现在在这讨论,可能我的AGENT就在旁边,会告诉我说:诶,这个事情你其实可以基于之前的这个那个信息,你可以再补充一补充一点。
它其实是一个个人的那个增强。
它其实是一个个人的那个增强。
哎我忽然觉得这个这个点有点打到我比如说像我们交流因为我平常可能做采访也比较多嘛然后其实有一些点是会相互印证的对但是我可能会忽然觉得哎这个东西我隐约觉得好像谁谁谁也对这个观点发表对这个事情发表过什么观点但是就想不起来了。
哎我忽然觉得这个这个点有点打到我比如说像我们交流因为我平常可能做采访也比较多嘛然后其实有一些点是会相互印证的对但是我可能会忽然觉得哎这个东西我隐约觉得好像谁谁谁也对这个观点发表对这个事情发表过什么观点但是就想不起来了。
对对它就是你的一个呃记忆增强嘛。
对对它就是你的一个呃记忆增强嘛。
嗯嗯对然后你刚才也提到嘛就是说其实如果跟其他产品相比的话你可能要面临着把这个产品从云上它能执行这么多功能。
嗯嗯对然后你刚才也提到嘛就是说其实如果跟其他产品相比的话你可能要面临着把这个产品从云上它能执行这么多功能。
然后搬到端侧嘛,比如说你之前也说,比如说云仓其实在云上的分工他们其实是相对比较清晰的嘛,比如说英伟达提供芯片,然后OpenAI提供模型,然后可能会有一些做产品的厂商。
然后搬到端侧嘛,比如说你之前也说,比如说云仓其实在云上的分工他们其实是相对比较清晰的嘛,比如说英伟达提供芯片,然后OpenAI提供模型,然后可能会有一些做产品的厂商。
但是在端侧其实这是相对比较碎片化的,所以我不知道当你想要把这个这种在云上已经相对比较成熟的产品搬到端侧的时候,会面临一些什么样的挑战啊?
但是在端侧其实这是相对比较碎片化的,所以我不知道当你想要把这个这种在云上已经相对比较成熟的产品搬到端侧的时候,会面临一些什么样的挑战啊?
对,这就是我觉得。
对,这就是我觉得。
我们走了非常多的弯路,和趟了非常多的坑。
我们走了非常多的弯路,和趟了非常多的坑。
嗯,我们单模型迭代了300多版。
嗯,我们单模型迭代了300多版。
嗯,300多版对,就是都是什么模型?
嗯,300多版对,就是都是什么模型?
呃,呃,VRM呀、LM呀这些那个模型嘛。
呃,呃,VRM呀、LM呀这些那个模型嘛。
那我们有时候我说我们自己是一个非常不情愿的大模型玩家。
那我们有时候我说我们自己是一个非常不情愿的大模型玩家。
就是我们其实从第一天,从呃2023年我们从腾讯出来,然后我们第一天开始去做crypto的时候,我们其实是很不情愿去做模型的这个事儿。
就是我们其实从第一天,从呃2023年我们从腾讯出来,然后我们第一天开始去做crypto的时候,我们其实是很不情愿去做模型的这个事儿。
就包括模型的优化、优化后训练,甚至是预训练,我们其实很不情愿去做这个事情,因为我们认为那其实不是一个很好的生意,所以。
就包括模型的优化、优化后训练,甚至是预训练,我们其实很不情愿去做这个事情,因为我们认为那其实不是一个很好的生意,所以。
所以我们第一天我们第一天的路径其实是想,我们想把云上已有的这些这种那个生态在端上也去找到,包括用端上的一些啊模型的能力啊,啊甚至我们第一天这个错误的相信的苹果,我们用Siri的这个AI的API,哈哈哈,对吧?
所以我们第一天我们第一天的路径其实是想,我们想把云上已有的这些这种那个生态在端上也去找到,包括用端上的一些啊模型的能力啊,啊甚至我们第一天这个错误的相信的苹果,我们用Siri的这个AI的API,哈哈哈,对吧?
这确实是个坑,是个巨大的坑。
这确实是个坑,是个巨大的坑。
后来我们就就发现就是我们带着呃云上之前的一些思维框架去看端的时候其实完全不work,但这就是一个庆幸的一个发现嘛。
后来我们就就发现就是我们带着呃云上之前的一些思维框架去看端的时候其实完全不work,但这就是一个庆幸的一个发现嘛。
那云上现在其实已经非常的呃层级化,对吧?
那云上现在其实已经非常的呃层级化,对吧?
非常的这个有一个非常好的一个那个生态,做运算的就是做运算,做这个算力的就是做调度的就是做调度,然后呃模型的就是做模型的,然后呃CDN的就是做CDN的。
非常的这个有一个非常好的一个那个生态,做运算的就是做运算,做这个算力的就是做调度的就是做调度,然后呃模型的就是做模型的,然后呃CDN的就是做CDN的。
整个云上生态已经非常健全、非常成熟,甚至有时候是非常固化了。
整个云上生态已经非常健全、非常成熟,甚至有时候是非常固化了。
但是当你带着云上的这个视角看端上的时候,所有事情就我改变了,没有任何一个已有的啊架构你可以去完整的去依赖,特别是当然我们特别是讲的是AI啊,啊特别讲AI啊,端上的AI的这个生态你。
但是当你带着云上的这个视角看端上的时候,所有事情就我改变了,没有任何一个已有的啊架构你可以去完整的去依赖,特别是当然我们特别是讲的是AI啊,啊特别讲AI啊,端上的AI的这个生态你。
基本上,我们就得从最底层的。
基本上,我们就得从最底层的。
芯片级的优化开始往上做啊,芯片的算子的优化,然后再到上面的这个算力的这个调度啊,然后再到上面的模型的这个优化啊,以及再到后面整个AGENT它的这个搭建。
芯片级的优化开始往上做啊,芯片的算子的优化,然后再到上面的这个算力的这个调度啊,然后再到上面的模型的这个优化啊,以及再到后面整个AGENT它的这个搭建。
基本在端上我们发现,你就我们被迫不得不去做垂直整合。
基本在端上我们发现,你就我们被迫不得不去做垂直整合。
但好处是,那通过这个过程,我们就是把所有的这些啊结构全部打通了。
但好处是,那通过这个过程,我们就是把所有的这些啊结构全部打通了。
然后基本上刚才说到的这些层面,我们全部都实现完整的自研。
然后基本上刚才说到的这些层面,我们全部都实现完整的自研。
那与此同时呢?
那与此同时呢?
那我们的技术壁垒也就越来越深了。
那我们的技术壁垒也就越来越深了。
这个你像比如说像硬件这种底层的优化,这个应该非常困难吧?
这个你像比如说像硬件这种底层的优化,这个应该非常困难吧?
因为是这样的,我为什么问这个问题啊?
因为是这样的,我为什么问这个问题啊?
因为我之前。
因为我之前。
那个跟联发科他们是,他们因为他们做那个天玑芯片,其实是跟国产的这个手机厂商联合开发的嘛。
那个跟联发科他们是,他们因为他们做那个天玑芯片,其实是跟国产的这个手机厂商联合开发的嘛。
因为现在国产的手机,他们其实也显也也想要做这个端侧的 ai,想要发挥他们这个手机端,这个超级入口的这个优势嘛。
因为现在国产的手机,他们其实也显也也想要做这个端侧的 ai,想要发挥他们这个手机端,这个超级入口的这个优势嘛。
其实他们也提到,就是说如果你想要把云云上的 ai 搬到端侧,其实你从芯片设计本身,你就可能需要提前两年,预想到,比如说你刚才提到,说,比如说我可能要多任务运行。
其实他们也提到,就是说如果你想要把云云上的 ai 搬到端侧,其实你从芯片设计本身,你就可能需要提前两年,预想到,比如说你刚才提到,说,比如说我可能要多任务运行。
我可能要这个不是串行,是并行的很多任务。
我可能要这个不是串行,是并行的很多任务。
我有一个是主任务,那可能后面在后台还要运行。
我有一个是主任务,那可能后面在后台还要运行。
这些东西其实在芯片早期设计的时候,甚至都要考虑在内的。
这些东西其实在芯片早期设计的时候,甚至都要考虑在内的。
对,所以我其实我的问题就是说,你们在优化这个层级的时候,尤其是比如说你在底层硬件优化的时候,这个是不是也有很大的挑战?
对,所以我其实我的问题就是说,你们在优化这个层级的时候,尤其是比如说你在底层硬件优化的时候,这个是不是也有很大的挑战?
是啊,因为因为很多模型它其实是呃为那个英伟达芯片推理去设计的嘛,对吧?
是啊,因为因为很多模型它其实是呃为那个英伟达芯片推理去设计的嘛,对吧?
那所以当你要迁移到苹果上的时候,呃单纯迁移可能没那么难,但是你真的要去榨干它的所有的算力、所有的这个能力的时候,那你……不停的去优化,就会发现你可能不得不去深入到芯片级、算子级去做这些优化啊。
那所以当你要迁移到苹果上的时候,呃单纯迁移可能没那么难,但是你真的要去榨干它的所有的算力、所有的这个能力的时候,那你……不停的去优化,就会发现你可能不得不去深入到芯片级、算子级去做这些优化啊。
当然如果有。
当然如果有。
做芯片的同行,如果想那个合作,我们我们当然我们肯定很欢迎。
做芯片的同行,如果想那个合作,我们我们当然我们肯定很欢迎。
说能够更更深度的去跟芯片厂商一起去那个打磨啊。
说能够更更深度的去跟芯片厂商一起去那个打磨啊。
所以其实这个也是引申出来,我感觉做垂直整合,我觉得哈,在我看来可能是应该是一个OS厂商来做的。
所以其实这个也是引申出来,我感觉做垂直整合,我觉得哈,在我看来可能是应该是一个OS厂商来做的。
比如说你就说苹果啊,它从底层的硬件就是自己的,然后包括它的OS,包括它的应用什么的,它其实是一个自己就可以形成闭环。
比如说你就说苹果啊,它从底层的硬件就是自己的,然后包括它的OS,包括它的应用什么的,它其实是一个自己就可以形成闭环。
对,那如果他们自己做了呢?
对,那如果他们自己做了呢?
比如说你像以后SIRI,当然现在SIRI还比较傻啊。
比如说你像以后SIRI,当然现在SIRI还比较傻啊。
那可能以后他可以说:SIRI帮我找找我跟谁谁谁在什么什么的视频做了什么。
那可能以后他可以说:SIRI帮我找找我跟谁谁谁在什么什么的视频做了什么。
我觉得他们做这件事情顺理成章呀。
我觉得他们做这件事情顺理成章呀。
呃,顺理成章就是就是有几个方面啊。
呃,顺理成章就是就是有几个方面啊。
就是第一,就是你说做垂直整合这个事儿是啊,很OS的事儿,确实是这样。
就是第一,就是你说做垂直整合这个事儿是啊,很OS的事儿,确实是这样。
就是嗯,其实我们希望是。
就是嗯,其实我们希望是。
呃,苹果啊、微软他们把这个事儿做好了啊。
呃,苹果啊、微软他们把这个事儿做好了啊。
当然未来我希我认为未来也会越来越成熟,对吧?
当然未来我希我认为未来也会越来越成熟,对吧?
未来也会越来越成熟,只是你作为西部大开发的第一前面的这些人,你自己不做,那没有人会帮你把路铺好,对吧?
未来也会越来越成熟,只是你作为西部大开发的第一前面的这些人,你自己不做,那没有人会帮你把路铺好,对吧?
未来它一定会有高铁。
未来它一定会有高铁。
但是现在你只有马车,难道你就不淘金了吗?
但是现在你只有马车,难道你就不淘金了吗?
对吧。
对吧。
所以现有的情况下,你就得在现代的这个生态下自己去给自己去那个铺路嘛。
所以现有的情况下,你就得在现代的这个生态下自己去给自己去那个铺路嘛。
那这是一个,但第二个其实说他们会,我觉得会不会做这个,我觉得很难阻止人家去做,对吧?
那这是一个,但第二个其实说他们会,我觉得会不会做这个,我觉得很难阻止人家去做,对吧?
但是啊,第一他是不是适合做,以及第二他是不是能做好。
但是啊,第一他是不是适合做,以及第二他是不是能做好。
那从我们现在的经验来看,这两个问题应该都都是不是诶?
那从我们现在的经验来看,这两个问题应该都都是不是诶?
这个我有点意外啊。
这个我有点意外啊。
他做不好。
他做不好。
我觉得这个有点意外,做不好。
我觉得这个有点意外,做不好。
对,对于他是不是适合做,就是呃,因为你要想你要做一个MEMORY,他呃需要些什么东西对吧?
对,对于他是不是适合做,就是呃,因为你要想你要做一个MEMORY,他呃需要些什么东西对吧?
首首先他做肯定是要他或多或少都会去做啊。
首首先他做肯定是要他或多或少都会去做啊。
那么最后他呈现出来的结果和他的这个。
那么最后他呈现出来的结果和他的这个。
呃,形形态可能会不一样。
呃,形形态可能会不一样。
嗯,但是你要真正做到一个面向全球,比如说我们面向我们现在针对全球10亿的呃知识工作者,对吧?
嗯,但是你要真正做到一个面向全球,比如说我们面向我们现在针对全球10亿的呃知识工作者,对吧?
职场人士,首先圈定我们的面向的用户是谁,对吧?
职场人士,首先圈定我们的面向的用户是谁,对吧?
那他们为这些全球10亿个那个职场人士去做他的这个记忆系统这个事情。
那他们为这些全球10亿个那个职场人士去做他的这个记忆系统这个事情。
啊,首先这个我们认为,呃,比如说苹果啊,这些它其实是不适合去做的。
啊,首先这个我们认为,呃,比如说苹果啊,这些它其实是不适合去做的。
因为首先每个公司有每个公司的基因,苹果是个硬件设备公司的基因,它都脱离不了它自己最本质的这个根本。
因为首先每个公司有每个公司的基因,苹果是个硬件设备公司的基因,它都脱离不了它自己最本质的这个根本。
那么对它来说,其实他们更应该做的是搭建好这个硬件的生态,搭建好它的MAC OS跟我们这样的这个第三方开发者,我们这样的公司来去合作去做这个事儿,才能够把这身做好。
那么对它来说,其实他们更应该做的是搭建好这个硬件的生态,搭建好它的MAC OS跟我们这样的这个第三方开发者,我们这样的公司来去合作去做这个事儿,才能够把这身做好。
第二,就是呃,他们也基本做不到。
第二,就是呃,他们也基本做不到。
因为要去做这个事儿,他得懂硬件、懂芯片、懂这个算力、懂这个架构,还得有非常强的模型的原生的开发能力,然后还得把它作为一个独立的一个产品,能够运营,能够去呃那个推广到每一个用户的手里面。
因为要去做这个事儿,他得懂硬件、懂芯片、懂这个算力、懂这个架构,还得有非常强的模型的原生的开发能力,然后还得把它作为一个独立的一个产品,能够运营,能够去呃那个推广到每一个用户的手里面。
那所有这些加在一起,它就像是一个这个奇迹七星召唤神龙一样。
那所有这些加在一起,它就像是一个这个奇迹七星召唤神龙一样。
就是它这个非常非常符合的一个事情,这样的事情其实反而在大公司几乎是非常难以发生的啊,非常难以发生的。
就是它这个非常非常符合的一个事情,这样的事情其实反而在大公司几乎是非常难以发生的啊,非常难以发生的。
而我们其实在现在在各个这个方面,其实我们是有信心,我们是有全球最顶尖的人才、最顶尖的这个团队在去做这件事儿。
而我们其实在现在在各个这个方面,其实我们是有信心,我们是有全球最顶尖的人才、最顶尖的这个团队在去做这件事儿。
我们不觉得我们属于任何一个大厂,他们里面的团队来去做这个事儿。
我们不觉得我们属于任何一个大厂,他们里面的团队来去做这个事儿。
我们11个用户对吧?
我们11个用户对吧?
他有的人用苹果,有的人用WINDOWS,对吧?
他有的人用苹果,有的人用WINDOWS,对吧?
有的人用安卓。
有的人用安卓。
那苹果会去做安卓吗?
那苹果会去做安卓吗?
这个这个事儿本身就就是非常的值得那个怀疑的。
这个这个事儿本身就就是非常的值得那个怀疑的。
我觉得GOOGLE也有很强的自己做记忆的这个呃,他们他他们应该是他们的这个底子也很好,因为因为其实比如说大家都用GMAIL,然后大家都会用GOOGLEWORKSPACE,其实天然的就是大家有大已经有大量的数据了。
我觉得GOOGLE也有很强的自己做记忆的这个呃,他们他他们应该是他们的这个底子也很好,因为因为其实比如说大家都用GMAIL,然后大家都会用GOOGLEWORKSPACE,其实天然的就是大家有大已经有大量的数据了。
我觉得他们也有很强的动机来做。
我觉得他们也有很强的动机来做。
他是有很强的动机啊,但是还是回到那个问题,就是谷歌本身它还是一个本质上是一个云公司,对吧?
他是有很强的动机啊,但是还是回到那个问题,就是谷歌本身它还是一个本质上是一个云公司,对吧?
他会用各种方法。
他会用各种方法。
让你去云啊,还是每个公司的基因不一样。
让你去云啊,还是每个公司的基因不一样。
我明白,就是其实你们本质上想要做端测,但是如果他现在做端测,相当于把他就 sacrifice 他们云上的那一部分。
我明白,就是其实你们本质上想要做端测,但是如果他现在做端测,相当于把他就 sacrifice 他们云上的那一部分。
他他会蚕食自己的那个业务嘛。
他他会蚕食自己的那个业务嘛。
嗯嗯,对。
嗯嗯,对。
但是说说回来啊,就是呃 memory layer 其实也是挺系统的一个工程。
但是说说回来啊,就是呃 memory layer 其实也是挺系统的一个工程。
呃我觉得其实他可能也需要在方方面面的人才,以及方方面面的这个专业知识啊。
呃我觉得其实他可能也需要在方方面面的人才,以及方方面面的这个专业知识啊。
我还是觉得在初创公司这件事情是不是就是在资源上呀,或者说各个方面可能还是相比于大厂来讲还是相对欠缺的。
我还是觉得在初创公司这件事情是不是就是在资源上呀,或者说各个方面可能还是相比于大厂来讲还是相对欠缺的。
我们现在去想,对吧?
我们现在去想,对吧?
啊,谷歌、META,包括字节。
啊,谷歌、META,包括字节。
他们在现在的市场格局和生态下,他们其实都已经是一个生态公司,已经是一个平台公司了。
他们在现在的市场格局和生态下,他们其实都已经是一个生态公司,已经是一个平台公司了。
但是在它诞生第一天,他们都是一个应用公司,都是一一个产品公司,对吧?
但是在它诞生第一天,他们都是一个应用公司,都是一一个产品公司,对吧?
META是FACEBOOK,然后这个谷歌是GOOGLE搜索,甚至都还不是我们看的GOOGLE搜索是。
META是FACEBOOK,然后这个谷歌是GOOGLE搜索,甚至都还不是我们看的GOOGLE搜索是。
雅虎网站上的一个搜索条。
雅虎网站上的一个搜索条。
所以当我们去讲这个MEMORY的整个的MEMORY LAYER和MEMORY系统的时候,我们其实是讲未来终局。
所以当我们去讲这个MEMORY的整个的MEMORY LAYER和MEMORY系统的时候,我们其实是讲未来终局。
我们所看我们的理念里面,未来的AI的终局会是什么样?
我们所看我们的理念里面,未来的AI的终局会是什么样?
它会有OpenAI这些所代表的云上的这个大模型,代表的这个智能智力,对吧?
它会有OpenAI这些所代表的云上的这个大模型,代表的这个智能智力,对吧?
通用AGI。
通用AGI。
也有AGENT代表的行动力去做各种的任务的这些执行,但是在这个AI生态里面缺不了一个MEMORY LAYER,一个记忆层。
也有AGENT代表的行动力去做各种的任务的这些执行,但是在这个AI生态里面缺不了一个MEMORY LAYER,一个记忆层。
但是那个是一个终局,但回到现在可能就像现在所有外部视角来看,CLIP TO很多人都会有各种的这个解读或者各种的认知,可能会一开始觉得CLIP TO是一个转录工具。
但是那个是一个终局,但回到现在可能就像现在所有外部视角来看,CLIP TO很多人都会有各种的这个解读或者各种的认知,可能会一开始觉得CLIP TO是一个转录工具。
我们第一天在 product hunt launch,我们发的是一个面向我们只讲了视频创作者的这样的一个一一个方面的故事。
我们第一天在 product hunt launch,我们发的是一个面向我们只讲了视频创作者的这样的一个一一个方面的故事。
所以我们能看到未来,它有一个非常宏观、非常大的这样的一个平台级的这个机会和效应。
所以我们能看到未来,它有一个非常宏观、非常大的这样的一个平台级的这个机会和效应。
但是作为创业公司,确实你第一天,你资源有限,对吧?
但是作为创业公司,确实你第一天,你资源有限,对吧?
你的时间有限。
你的时间有限。
那么你其实要给自己去逐渐去那个铺设你的这个阶梯和路径,去达成那一天,就像。
那么你其实要给自己去逐渐去那个铺设你的这个阶梯和路径,去达成那一天,就像。
未来我们要做的是一辆超跑,但是第一天我们并不是去造一个轮子。
未来我们要做的是一辆超跑,但是第一天我们并不是去造一个轮子。
第一天我们可能是去做一辆滑板车,对吧?
第一天我们可能是去做一辆滑板车,对吧?
实现把人从A到B、A送到B这样的一个目的。
实现把人从A到B、A送到B这样的一个目的。
嗯啊,先把这个框架先搭出来。
嗯啊,先把这个框架先搭出来。
对对,就它还是要从一个非常具体的一个呃人群开始,从一个非常具体的。
对对,就它还是要从一个非常具体的一个呃人群开始,从一个非常具体的。
呃,功能抓手开始。
呃,功能抓手开始。
所以我们第一天,当我们去想OK,谁哪部分用户对MEMORY或者是大量的这个呃多模态的MEMORY有最强的需求?
所以我们第一天,当我们去想OK,谁哪部分用户对MEMORY或者是大量的这个呃多模态的MEMORY有最强的需求?
那我们想象就是OK,那视频创作者对吧?
那我们想象就是OK,那视频创作者对吧?
他有海量的TB级的这个多模态的音频视频数据啊,然后呢,他们的数据又天然在本地,他们又每天都要去。
他有海量的TB级的这个多模态的音频视频数据啊,然后呢,他们的数据又天然在本地,他们又每天都要去。
在这些数据上去工作,每天要去查找。
在这些数据上去工作,每天要去查找。
那所以我们第一天的其实主打的其实就是这部分人群和这部分场景啊,但是本质上我们是面向所有的那个啊用户的。
那所以我们第一天的其实主打的其实就是这部分人群和这部分场景啊,但是本质上我们是面向所有的那个啊用户的。
嗯,对诶,那当你们有了这个MEMORY或者很多的这个用户的MEMORY来讲,他们能够反哺到就是能够反哺到你们,就像数据分类、分类一样,它会有这个效应吗?
嗯,对诶,那当你们有了这个MEMORY或者很多的这个用户的MEMORY来讲,他们能够反哺到就是能够反哺到你们,就像数据分类、分类一样,它会有这个效应吗?
啊,会啊,会啊,会啊。
啊,会啊,会啊,会啊。
就是呃,因为数据飞轮它其实分成好多面嘛。
就是呃,因为数据飞轮它其实分成好多面嘛。
就是一方面我们大众我们可能知道的印象里面的数据飞轮,可能是啊,用户的数据能够啊,在你的啊系统层面去留存,然后呢再去做数啊,你的模型呀,你的服务的一些那个反馈和金条,对吧?
就是一方面我们大众我们可能知道的印象里面的数据飞轮,可能是啊,用户的数据能够啊,在你的啊系统层面去留存,然后呢再去做数啊,你的模型呀,你的服务的一些那个反馈和金条,对吧?
但其实数据飞轮它有很多很多层面,包括。
但其实数据飞轮它有很多很多层面,包括。
即使是在端上,即使是用户数据不出他端的这个情况下,也能够构造数据飞轮啊。
即使是在端上,即使是用户数据不出他端的这个情况下,也能够构造数据飞轮啊。
比如说我们还是以视频为例对吧?
比如说我们还是以视频为例对吧?
那我可能会或者经常合作的一些人,那比如说你们采访谈的一些人,那么我们的用户会把这些人他的啊那个图片、他的头像和他的声音去做标注,然后。
那我可能会或者经常合作的一些人,那比如说你们采访谈的一些人,那么我们的用户会把这些人他的啊那个图片、他的头像和他的声音去做标注,然后。
给他去命名,命名后他就可以未来就可以直接一一次就搜哎。
给他去命名,命名后他就可以未来就可以直接一一次就搜哎。
El Mask所有El Mask的出现的画面以及它的出声音出现的片段就会被继续出来。
El Mask所有El Mask的出现的画面以及它的出声音出现的片段就会被继续出来。
那这个数据其实完全在本地完成。
那这个数据其实完全在本地完成。
就是包括我本地的模型也会越来越越越用越准。
就是包括我本地的模型也会越来越越越用越准。
对对明白,所以当然在这之上我们还有更更更多维度的这个数据飞轮了。
对对明白,所以当然在这之上我们还有更更更多维度的这个数据飞轮了。
刚才你说要做一个端侧的这个memory layer的这个生态系统嘛?
刚才你说要做一个端侧的这个memory layer的这个生态系统嘛?
那你觉得以后这个生态系统它是会。
那你觉得以后这个生态系统它是会。
呃成为大厂的一个一趴吗就是就是还对就就是说还是说你们是自立门户你们是自立门户然后自己就是自己了还是说你会成为大厂的一部分你把这个路修通了这个路上以后跑的是自己的车呢还是别人的车呢。
呃成为大厂的一个一趴吗就是就是还对就就是说还是说你们是自立门户你们是自立门户然后自己就是自己了还是说你会成为大厂的一部分你把这个路修通了这个路上以后跑的是自己的车呢还是别人的车呢。
我们希望我们未来是呃首先我们觉得AI的时代是有机会再做一家这个谷歌再做一家买。
我们希望我们未来是呃首先我们觉得AI的时代是有机会再做一家这个谷歌再做一家买。
卡这个也行出来的。
卡这个也行出来的。
我觉得是是有这个机会的不然我们为什么要从大厂出来对吧我觉得。
我觉得是是有这个机会的不然我们为什么要从大厂出来对吧我觉得。
就是首先是有这个机会去做,而且从生态的角度来说,你如果看整个生态的终局,我觉得是有这样的一个机会去打造一个这个MEMORY LAYER,而且它是给全球10亿人、10亿的这个职场人士都能够去使用的这样的一个一个平台,我觉得是有这样的就机会是完全开放的。
就是首先是有这个机会去做,而且从生态的角度来说,你如果看整个生态的终局,我觉得是有这样的一个机会去打造一个这个MEMORY LAYER,而且它是给全球10亿人、10亿的这个职场人士都能够去使用的这样的一个一个平台,我觉得是有这样的就机会是完全开放的。
所以你觉得比如说黄仁勋不老说什么AI的5层蛋糕嘛,你认为MEMORY LAYER会是其中独立的一层是吗?
所以你觉得比如说黄仁勋不老说什么AI的5层蛋糕嘛,你认为MEMORY LAYER会是其中独立的一层是吗?
而不是说成为某模型的某一层。
而不是说成为某模型的某一层。
呃对我不觉得它会成为某个模型的某一层,对对它应该是。
呃对我不觉得它会成为某个模型的某一层,对对它应该是。
至少是具备这样的一个潜力。
至少是具备这样的一个潜力。
爆发潜力的。
爆发潜力的。
你们大概两年多前就开始做这个,相当于是多模态的一个端测。
你们大概两年多前就开始做这个,相当于是多模态的一个端测。
其实在那会儿,多模态的模型也不太成熟,然后包括算力,现在也就是端测算力也没有,就是像现在这样,就是有一个大的跃迁嘛。
其实在那会儿,多模态的模型也不太成熟,然后包括算力,现在也就是端测算力也没有,就是像现在这样,就是有一个大的跃迁嘛。
但是其实你们是预判到了。
但是其实你们是预判到了。
对不对?
对不对?
对,因为当然在那个时候有几个势头我们已经看到了。
对,因为当然在那个时候有几个势头我们已经看到了。
呃,首先在两年前呢,苹果已经。
呃,首先在两年前呢,苹果已经。
在端上的AI,在啊已经布局了很长时间啊,包括最早可能甚至是5年前、6年前发布的ME芯片,其实就已经具备这个啊AI推理的这些能力了,对吧?
在端上的AI,在啊已经布局了很长时间啊,包括最早可能甚至是5年前、6年前发布的ME芯片,其实就已经具备这个啊AI推理的这些能力了,对吧?
那所以迭代到二三年,其实端上我们能看到AI的算力已经是啊有提升,然后已经在啊有这个基础的能力在那儿了。
那所以迭代到二三年,其实端上我们能看到AI的算力已经是啊有提升,然后已经在啊有这个基础的能力在那儿了。
那无非是算力进一步的去那个提升嘛,那至于。
那无非是算力进一步的去那个提升嘛,那至于。
我们自己做做这个,在计算机行业已经做了接近20年嘛,那对吧?
我们自己做做这个,在计算机行业已经做了接近20年嘛,那对吧?
这个MORE SLOW大家都还是相信的。
这个MORE SLOW大家都还是相信的。
所以我们相信算力AI的算力应该也会类似MORE SLOW的这个啊规律去指数级增长嘛。
所以我们相信算力AI的算力应该也会类似MORE SLOW的这个啊规律去指数级增长嘛。
啊,所以算力肯定会增长。
啊,所以算力肯定会增长。
第二呢就是模型,因为我在04年啊微软的时候,我们当时就是呃在XBOX上面。
第二呢就是模型,因为我在04年啊微软的时候,我们当时就是呃在XBOX上面。
用XBOX的GPU去做一些这个算法啊,所以其实对于我们呃一直做AI的,我们天然都知道。
用XBOX的GPU去做一些这个算法啊,所以其实对于我们呃一直做AI的,我们天然都知道。
那我训出来的第一个模型一定是啊最复杂的,或者是那个复杂度最高的,然后需要的呃这个算力成本也是最高的。
那我训出来的第一个模型一定是啊最复杂的,或者是那个复杂度最高的,然后需要的呃这个算力成本也是最高的。
那在后续一定是有办法去优化它。
那在后续一定是有办法去优化它。
所以两个趋势:一个趋势呢,算力会增加;第二个趋势,模型会变小。
所以两个趋势:一个趋势呢,算力会增加;第二个趋势,模型会变小。
一定会发生,那两个事情都是必然发生的。
一定会发生,那两个事情都是必然发生的。
那这个就是最终是个大概率的一个事件了,只是说它是一年、两年、三年还是五年对吧?
那这个就是最终是个大概率的一个事件了,只是说它是一年、两年、三年还是五年对吧?
那它一定会发生。
那它一定会发生。
哎,那如果说到未来的话,你觉得现在你们的这个产品或者说你构想这种MEMORY LAYER现在已经实现了多少了?
哎,那如果说到未来的话,你觉得现在你们的这个产品或者说你构想这种MEMORY LAYER现在已经实现了多少了?
你觉得什么时候能完全达成你想要的那个?
你觉得什么时候能完全达成你想要的那个?
我觉得肯定值得十年这种维度去做的吧。
我觉得肯定值得十年这种维度去做的吧。
嗯啊,你觉得还有哪些需要突破的地方?
嗯啊,你觉得还有哪些需要突破的地方?
呃,还有非常非常多。
呃,还有非常非常多。
以终局来看,可能我们做了1/10的工作。
以终局来看,可能我们做了1/10的工作。
呃,首先我们第一是。
呃,首先我们第一是。
完整的这套记忆系统,完整的搭建起来了。
完整的这套记忆系统,完整的搭建起来了。
从呃最底层的这个芯片算力模型到上层的AGENT,整套系统我们已经完整的搭建起来了。
从呃最底层的这个芯片算力模型到上层的AGENT,整套系统我们已经完整的搭建起来了。
所以现在来说的话,已经可以完整的去构建这个记忆系统。
所以现在来说的话,已经可以完整的去构建这个记忆系统。
但是在这里面,就像我就是说我比喻说我们它始终是一个螺旋上升嘛,对吧?
但是在这里面,就像我就是说我比喻说我们它始终是一个螺旋上升嘛,对吧?
那在搭建这个整套完整系统里面,其实它每一个组件都还有很大的优化的空间。
那在搭建这个整套完整系统里面,其实它每一个组件都还有很大的优化的空间。
嗯,包括模型。
嗯,包括模型。
接下来那我们肯定模型层面要去做很多的工作。
接下来那我们肯定模型层面要去做很多的工作。
我们虽然我们认为就我们说我们自己是一个呃不情愿入局的一个大模型玩家,因为一开始你你的业务、你的数据长什么样你完全不知道对吧?
我们虽然我们认为就我们说我们自己是一个呃不情愿入局的一个大模型玩家,因为一开始你你的业务、你的数据长什么样你完全不知道对吧?
那你去去训练模型,你都方向都不知道在哪。
那你去去训练模型,你都方向都不知道在哪。
你模型是现在是自己训,还是说是在就开源模型,或者说也有模型基础上进行一些比如说蒸馏呀这样的?
你模型是现在是自己训,还是说是在就开源模型,或者说也有模型基础上进行一些比如说蒸馏呀这样的?
两者都有,两者都有对。
两者都有,两者都有对。
当然一部分是我们基于开源的对,所以……整个模型的呃,整个训练的那个架构和呃,那个流程我们其实已经完整具备了啊。
当然一部分是我们基于开源的对,所以……整个模型的呃,整个训练的那个架构和呃,那个流程我们其实已经完整具备了啊。
当然除了开源之外,我们也有一部分其实我们呃,那个自研的很多的这个AI的这些模型啊,相相对来说可能小一些模型吧,也是我们几乎就完全从零开始自研的这些啊,这些模型。
当然除了开源之外,我们也有一部分其实我们呃,那个自研的很多的这个AI的这些模型啊,相相对来说可能小一些模型吧,也是我们几乎就完全从零开始自研的这些啊,这些模型。
再往后的话,那肯定目前就是我们对于用户的数据、对用户的场景逐渐清晰了。
再往后的话,那肯定目前就是我们对于用户的数据、对用户的场景逐渐清晰了。
那到后面我们认为,那即使我们要去下场自己做预训练,我觉得也是完全有可能的。
那到后面我们认为,那即使我们要去下场自己做预训练,我觉得也是完全有可能的。
诶,我感觉今天也有几个刷新我的点啊。
诶,我感觉今天也有几个刷新我的点啊。
以前我觉得端侧和云端,我并不觉得端侧是一个必须的东西,但是我觉得确实这个当我需要做这个把东西传上云端这个决策的时候,确实是有一点门槛。
以前我觉得端侧和云端,我并不觉得端侧是一个必须的东西,但是我觉得确实这个当我需要做这个把东西传上云端这个决策的时候,确实是有一点门槛。
如果什么都不需要做然后这个我就又又又有一个能够知道我偏好的这个这个AI助理的话我绝不会迈出要上传的那一步对然后第二呢我觉得发现其实这个所有的记忆也不完全是我的数据对吧你还是需要对它进行一些组结构化然后让它来理解你对好好呀那我所以今天非常感谢HENRY对然后也希望就是说呃AI伴随着这个记忆能够发展的越来越好不管是现在是短时的或者说是忠诚的或者说是长城的能够能让模型真正的理解我们然后更好的服务我们对好的那我们今天就这样感谢。
如果什么都不需要做然后这个我就又又又有一个能够知道我偏好的这个这个AI助理的话我绝不会迈出要上传的那一步对然后第二呢我觉得发现其实这个所有的记忆也不完全是我的数据对吧你还是需要对它进行一些组结构化然后让它来理解你对好好呀那我所以今天非常感谢HENRY对然后也希望就是说呃AI伴随着这个记忆能够发展的越来越好不管是现在是短时的或者说是忠诚的或者说是长城的能够能让模型真正的理解我们然后更好的服务我们对好的那我们今天就这样感谢。
HENRY谢谢希望今天也是我们所有的记忆嗯。
HENRY谢谢希望今天也是我们所有的记忆嗯。
好。
好。
今天的科技早知道就到这里了。
今天的科技早知道就到这里了。
听完之后,如果你有任何的想法,欢迎在评论区和我们交流;如果有任何想听的话题,也请告诉我们。
听完之后,如果你有任何的想法,欢迎在评论区和我们交流;如果有任何想听的话题,也请告诉我们。
如果你喜欢我们的节目,请记得分享给更多的朋友。
如果你喜欢我们的节目,请记得分享给更多的朋友。
那我们下期再见,下期再见。
那我们下期再见,下期再见。
关于 Bayt 播客
Bayt 提供中文+原文双语音频和字幕,帮助你打破语言障碍,轻松听懂全球优质播客。