陈天奇：机器学习系统、长期主义、初心、XGBoost、MXNet、TVM、MLC LLM、OctoML、CMU、UW、ACM班

但是似乎在我一开始科研生涯中，我很少知道还有哪些问题我是可以解决的。

但是似乎在我一开始科研生涯中，我很少知道还有哪些问题我是可以解决的。

就是，就是，就是。

就是，就是，就是。

然后我记得一个契机是当时李航老师来APEX，他给了报告。

然后我记得一个契机是当时李航老师来APEX，他给了报告。

因为在那之前啊，其实基本上我们还是处于是没有人带的状态，就是我自己在自己在摸索。

因为在那之前啊，其实基本上我们还是处于是没有人带的状态，就是我自己在自己在摸索。

然后李航老师来了之后，他给了报告，他就讲说：诶，我在这个信息检索里面有这个问题，这个问题，这个问题，我们是这样解决，这样解决，这样解决。

然后李航老师来了之后，他给了报告，他就讲说：诶，我在这个信息检索里面有这个问题，这个问题，这个问题，我们是这样解决，这样解决，这样解决。

然后我就发现说。

然后我就发现说。

哎，好像这些问题我都能解决，而且我可以想出一些其他的方法。

哎，好像这些问题我都能解决，而且我可以想出一些其他的方法。

原来世界上面还有这些其他问题，除了我在看这个问题。

原来世界上面还有这些其他问题，除了我在看这个问题。

所以就是，于是当时就嗯，就是很兴奋，然后就跟了李航老师，也也很幸运能够得到李航老师和杨强老师的支持，去香港实习了这样一段时间。

所以就是，于是当时就嗯，就是很兴奋，然后就跟了李航老师，也也很幸运能够得到李航老师和杨强老师的支持，去香港实习了这样一段时间。

然后在那个时候我就开始知道说，哎，我们可以去看哪些问题。

然后在那个时候我就开始知道说，哎，我们可以去看哪些问题。

可以去解决。

可以去解决。

所以就是我觉得这个是一个非常大的转变，在这个地方。

所以就是我觉得这个是一个非常大的转变，在这个地方。

对。

对。

所以以前那两年就盯着 imagenet，盯着 classification，然后突然意识到还有外面很广阔的天地。

所以以前那两年就盯着 imagenet，盯着 classification，然后突然意识到还有外面很广阔的天地。

对。

对。

但是你当时能够意识到，哇，原来很多他们的问题，我都脑子里有方法，有其他的方法。

但是你当时能够意识到，哇，原来很多他们的问题，我都脑子里有方法，有其他的方法。

其实还是你那两年可能有很多内功的修炼。

其实还是你那两年可能有很多内功的修炼。

对。

对。

就我觉得说，其实很多时候我觉得可能我的路径会不太一样，因为很多时候现在看很多的同学，其实大家都是可能先知道有很多的问题，然后再开始去。

就我觉得说，其实很多时候我觉得可能我的路径会不太一样，因为很多时候现在看很多的同学，其实大家都是可能先知道有很多的问题，然后再开始去。

去想尝试去学习方法和和基础的打磨，对吧？

去想尝试去学习方法和和基础的打磨，对吧？

反倒我觉得说其实还是得益于原来的训练，使得说我们有方法和基础的打磨，使得说哎，有问题来了之后，我们可以可以上。

反倒我觉得说其实还是得益于原来的训练，使得说我们有方法和基础的打磨，使得说哎，有问题来了之后，我们可以可以上。

嗯。

嗯。

你觉得现在十多年过去了，你对研究事业有没有什么新的感悟？

你觉得现在十多年过去了，你对研究事业有没有什么新的感悟？

我觉得从刚开始科研的时候，其实目的还是蛮单纯的。

我觉得从刚开始科研的时候，其实目的还是蛮单纯的。

我们想先发一篇论文对吧？

我们想先发一篇论文对吧？

然后来能够就是到后来，其实我觉得比较更多的形成的是自己想要做什么样的研究。

然后来能够就是到后来，其实我觉得比较更多的形成的是自己想要做什么样的研究。

就是因为世界上面有很多东西你可以选择嘛，就是你可以你可以选择做这个问题或者做那个问题。

就是因为世界上面有很多东西你可以选择嘛，就是你可以你可以选择做这个问题或者做那个问题。

然后我觉得可能不太一样。

然后我觉得可能不太一样。

现在就是几年之后，接下来。

现在就是几年之后，接下来。

每个人都会有自己的 research taste 那就是我们想要做什么样的研究。

每个人都会有自己的 research taste 那就是我们想要做什么样的研究。

这个是我觉得是可能跟 i 比起来稍微有点那么一样的。

这个是我觉得是可能跟 i 比起来稍微有点那么一样的。

你现在慢慢形成的 research taste 是什么？

你现在慢慢形成的 research taste 是什么？

我觉得首先我意识到一个非常明确的就是，世界上面有不同的 research style 有两种研究方式，对吧？

我觉得首先我意识到一个非常明确的就是，世界上面有不同的 research style 有两种研究方式，对吧？

有的是从方法出发，我成为一个方向的泰斗。

有的是从方法出发，我成为一个方向的泰斗。

去这个，并且我可以把我的方法用在各种各样的地方。

去这个，并且我可以把我的方法用在各种各样的地方。

另外一个方方法就是，我对某一类问题感兴趣，我可以尝试用不同的方法去解决它。

另外一个方方法就是，我对某一类问题感兴趣，我可以尝试用不同的方法去解决它。

至少我让我几年的经验中让我意识到，我是属于后者，就是我对于实际上面能够让……就就好像我一开始的时候，我想要能够。

至少我让我几年的经验中让我意识到，我是属于后者，就是我对于实际上面能够让……就就好像我一开始的时候，我想要能够。

就比如说能够自己做游戏的，也是说希望能够创造一些东西，创造这个，就做做机器学习也是这样，就创造智能，创造东西，是一个原始的 motivation。

就比如说能够自己做游戏的，也是说希望能够创造一些东西，创造这个，就做做机器学习也是这样，就创造智能，创造东西，是一个原始的 motivation。

然后基于这一点，我就意识到我们可能不太能够一直挑做什么方法。

然后基于这一点，我就意识到我们可能不太能够一直挑做什么方法。

并且，而且让我开始做经济学之后，我发现了很多时候我的瓶颈其实来自于这个，你能不能把东西 scale up，就是跑得大，跑得快，对吧？

并且，而且让我开始做经济学之后，我发现了很多时候我的瓶颈其实来自于这个，你能不能把东西 scale up，就是跑得大，跑得快，对吧？

就是我记得非常清楚的是，当时在 imagine，就是刚 break through 的时候。

就是我记得非常清楚的是，当时在 imagine，就是刚 break through 的时候。

我和我的导师，还大家大家也都会觉得说，哎，他到底是为什么？

我和我的导师，还大家大家也都会觉得说，哎，他到底是为什么？

是因为神经网络吗？

是因为神经网络吗？

就是当时我们觉得可能他不一定是因为神经网络，或许他的因为原因是因为你有一个比较大的 hypothesis space，以及你有大量的数据可以 scale up。

就是当时我们觉得可能他不一定是因为神经网络，或许他的因为原因是因为你有一个比较大的 hypothesis space，以及你有大量的数据可以 scale up。

Turns out we are partly right maybe 神经网络还是很重要，因为它有很大的这个参数空间在这个地方。

Turns out we are partly right maybe 神经网络还是很重要，因为它有很大的这个参数空间在这个地方。

但是当时我们就觉得说，我们能不能 challenge 下这个 hypothesis？

但是当时我们就觉得说，我们能不能 challenge 下这个 hypothesis？

就是如果说你可以把大量的数据用到其他的模型类型里面，比如说当时我觉得我的偏点是因为我之前做KDD，我觉得树模型很强。

就是如果说你可以把大量的数据用到其他的模型类型里面，比如说当时我觉得我的偏点是因为我之前做KDD，我觉得树模型很强。

我们能不能做树模型？

我们能不能做树模型？

然后我的导师他觉得诶，能不能做KERNEL METHOD呢？

然后我的导师他觉得诶，能不能做KERNEL METHOD呢？

最后最后我还是觉得树模型比较好，我就就选了树模型这条路，然后。

最后最后我还是觉得树模型比较好，我就就选了树模型这条路，然后。

诶，当时发现很大的瓶颈就是在系统。

诶，当时发现很大的瓶颈就是在系统。

就是我们在做数模型的时候，嗯，我我想要做的模型。

就是我们在做数模型的时候，嗯，我我想要做的模型。

现有的东西都算算的不够快，所以就让我意识到这一点之后，其实现在这这不是一个很很 controversial 的观点，对吧？

现有的东西都算算的不够快，所以就让我意识到这一点之后，其实现在这这不是一个很很 controversial 的观点，对吧？

现在大家都知道说，其实人工智能本身它是依赖于。

现在大家都知道说，其实人工智能本身它是依赖于。

这个数据和算力以及算法，对吧？

这个数据和算力以及算法，对吧？

比如就可能在我们刚开始做机器学习的时候，大部分的关注点都在算法上面。

比如就可能在我们刚开始做机器学习的时候，大部分的关注点都在算法上面。

所以当时就是从问题出发角度，就觉得说 ok 系统是一个瓶颈。

所以当时就是从问题出发角度，就觉得说 ok 系统是一个瓶颈。

我又不太喜欢一个问题被一个瓶颈就直接卡住，我就不能继续做下面的东西了。

我又不太喜欢一个问题被一个瓶颈就直接卡住，我就不能继续做下面的东西了。

所以我就想说，ok 我们要不要来解决它？

所以我就想说，ok 我们要不要来解决它？

就就逐渐逐渐就开始让我做机器学习系统。

就就逐渐逐渐就开始让我做机器学习系统。

这应该就是 xgboost 对，最开始诞生的背后的故事。

这应该就是 xgboost 对，最开始诞生的背后的故事。

所以你在香港之，香港那段实习时候，你就来到了 u dub do phd。

所以你在香港之，香港那段实习时候，你就来到了 u dub do phd。

然后你应该当时同时也有 cmu 的 phd offer 是的是的。

然后你应该当时同时也有 cmu 的 phd offer 是的是的。

怎么去了 u of u 那很很。

怎么去了 u of u 那很很。

原因很简单，就是我因为我想跟 carlos 我的导师，就是当时我同时 apply 了。

原因很简单，就是我因为我想跟 carlos 我的导师，就是当时我同时 apply 了。

其实 apply 比较 broadly 就是当时，能来 cmu 其实原因也是因为，就是 carlos 他有一个 postdoc 叫 danny 就是他现在还还在 israel 做那个 startup 就是，就我当时我做了那个推荐系统嘛。

其实 apply 比较 broadly 就是当时，能来 cmu 其实原因也是因为，就是 carlos 他有一个 postdoc 叫 danny 就是他现在还还在 israel 做那个 startup 就是，就我当时我做了那个推荐系统嘛。

然后我们当时做了一个开源的项目，叫SVD FEATURE，就是就是做这个呃矩阵分解。

然后我们当时做了一个开源的项目，叫SVD FEATURE，就是就是做这个呃矩阵分解。

然后DANNY他找到了我说：诶，你这个东西挺有趣的，我们是不是可以来？

然后DANNY他找到了我说：诶，你这个东西挺有趣的，我们是不是可以来？

就是当时去他的博客做了一个简单的访谈，关于这个这个东西。

就是当时去他的博客做了一个简单的访谈，关于这个这个东西。

然后他就把我推荐给了这个CARLOS和ALEX，就是当时SMALLA，他也是刚来这个CMU铃木的了，对铃木的导师对。

然后他就把我推荐给了这个CARLOS和ALEX，就是当时SMALLA，他也是刚来这个CMU铃木的了，对铃木的导师对。

所以就是就是后来就是因为我想要去跟卡，呃，跟卡洛斯，就是选择了去 washington 对。

所以就是就是后来就是因为我想要去跟卡，呃，跟卡洛斯，就是选择了去 washington 对。

所以现在你回看本科或者硕士那个阶段，你会是希望给当时的自己有什么建议？

所以现在你回看本科或者硕士那个阶段，你会是希望给当时的自己有什么建议？

你会有希望有哪些信息，如果当时知道的话就好了。

你会有希望有哪些信息，如果当时知道的话就好了。

我觉得很重要的一点，应该是本身科研的视野和这个叫什么？

我觉得很重要的一点，应该是本身科研的视野和这个叫什么？

就是就和这个，就是你要同时这很明很明白，你要能够不能同时挑问题和方法。

就是就和这个，就是你要同时这很明很明白，你要能够不能同时挑问题和方法。

这个是我觉得 I WISH I KNEW EARLIER。

这个是我觉得 I WISH I KNEW EARLIER。

嗯，但是反过来说。

嗯，但是反过来说。

就现在的我来说，i wish i don't know them。

就现在的我来说，i wish i don't know them。

原因是因为我觉得可能人生总是要经历一些磨练，因为。

原因是因为我觉得可能人生总是要经历一些磨练，因为。

只有通过了这些磨练之后，可能可以让你有契机可以未来可以更大胆的去做一些事情。

只有通过了这些磨练之后，可能可以让你有契机可以未来可以更大胆的去做一些事情。

我觉得只是或早或晚的时候，我觉得可能可能是这样子。

我觉得只是或早或晚的时候，我觉得可能可能是这样子。

所以这叫什么吃亏要趁早。

所以这叫什么吃亏要趁早。

maybe 好.

maybe 好.

那我们就聊你博士期间，博士期间我觉得有四个项目。

那我们就聊你博士期间，博士期间我觉得有四个项目。

第一个，超级 boost 刚刚你其实你已经引入了，为什么当时要做超级 boost 是因为你和你的导师想要 challenge 为什么？

第一个，超级 boost 刚刚你其实你已经引入了，为什么当时要做超级 boost 是因为你和你的导师想要 challenge 为什么？

Deep learning work 对，xg boost 可以说是一个从一个挑战挑战假说的系统，成长为现在非常受欢迎的开源项目。

Deep learning work 对，xg boost 可以说是一个从一个挑战挑战假说的系统，成长为现在非常受欢迎的开源项目。

至今，我昨天晚上看引用引用数量已经接近7万了。

至今，我昨天晚上看引用引用数量已经接近7万了。

你觉得 xg boost 成功的关键原因是什么？

你觉得 xg boost 成功的关键原因是什么？

为什么会这么受欢迎？

为什么会这么受欢迎？

其实现在看来，我觉得很重要的一点是，一。

其实现在看来，我觉得很重要的一点是，一。

我当时就是，其实我觉得这一点是也是A三班的经历教会我们的，就做一件事情要做到极致。

我当时就是，其实我觉得这一点是也是A三班的经历教会我们的，就做一件事情要做到极致。

我觉得这一点非常非常重要，做一件事情要做到极致。

我觉得这一点非常非常重要，做一件事情要做到极致。

然后所以当时因为这个契机，我们开始做了这件事情之后，我就当时就想了各种各样的方法去看我们能不能让他尽量的快一点。

然后所以当时因为这个契机，我们开始做了这件事情之后，我就当时就想了各种各样的方法去看我们能不能让他尽量的快一点。

再快一点，嗯，就是，所以说其实 tensorflow 当我们发布的时候，它是世界上最快的能够做这个 gradient boosting 这个方法的这个东西，然后另外一个是说因为我自己是做算法研究的。

再快一点，嗯，就是，所以说其实 tensorflow 当我们发布的时候，它是世界上最快的能够做这个 gradient boosting 这个方法的这个东西，然后另外一个是说因为我自己是做算法研究的。

所以说差距BOOST本身里面也会有一些很细节上面的算法，但是它可以让他这个对于很多问题WORK OUT OF BOX。

所以说差距BOOST本身里面也会有一些很细节上面的算法，但是它可以让他这个对于很多问题WORK OUT OF BOX。

比如说呃，它有一个非常重要的特性，就是在很多机器学习时候啊，它会经常会有一些MISSING VALUE，就是比如说我我依赖于我的一个人的数据，他可能他不会告诉你说我的年龄或者是性别或者其他信息。

比如说呃，它有一个非常重要的特性，就是在很多机器学习时候啊，它会经常会有一些MISSING VALUE，就是比如说我我依赖于我的一个人的数据，他可能他不会告诉你说我的年龄或者是性别或者其他信息。

在传统的机器学习方法里面，大家做的事情是你要先做数据清理，把这些 missing value 先，比如说用 medium 就用中值或者其他东西代替，对吧？

在传统的机器学习方法里面，大家做的事情是你要先做数据清理，把这些 missing value 先，比如说用 medium 就用中值或者其他东西代替，对吧？

但是当时我就觉得说其实你完全可以让模型自己去猜，它要怎么样去解决 missing value 这件事情。

但是当时我就觉得说其实你完全可以让模型自己去猜，它要怎么样去解决 missing value 这件事情。

所以在差距 boost 里面，它是有这个 building 的，就是说如果说你一个 value 是 missing，它会根据它历史的这个 missing value 的 pattern 来自己决定你到底是要怎么样去 categorize 这个东西。

所以在差距 boost 里面，它是有这个 building 的，就是说如果说你一个 value 是 missing，它会根据它历史的这个 missing value 的 pattern 来自己决定你到底是要怎么样去 categorize 这个东西。

Turns out 其实这个东西非常非常受欢迎，因为大家都不想要自己去解决 missing value。

Turns out 其实这个东西非常非常受欢迎，因为大家都不想要自己去解决 missing value。

嗯，对，就是，就所以说，因为我们把一个东西做到极致，并且能够使得我，我觉得这一点是第一次让我觉得说你需要能够去看一个垂直的问题，就是你要知道说。

嗯，对，就是，就所以说，因为我们把一个东西做到极致，并且能够使得我，我觉得这一点是第一次让我觉得说你需要能够去看一个垂直的问题，就是你要知道说。

如果说你要做一个拒绝系统，你只做算法或者只做系统，都是不能够完全获得成功的。

如果说你要做一个拒绝系统，你只做算法或者只做系统，都是不能够完全获得成功的。

我觉得就一定是要能够知道说我们要有能力知道说这个算法本身可以怎么样往前进，并且系统可以怎么样做，对吧？

我觉得就一定是要能够知道说我们要有能力知道说这个算法本身可以怎么样往前进，并且系统可以怎么样做，对吧？

就是这个是一个原因。

就是这个是一个原因。

然后第二原因，我觉得很大的程度来自于社区的力量。

然后第二原因，我觉得很大的程度来自于社区的力量。

就是因为其实 action boost 到后面，包括现在的主要的维护已经不是我了，包括是其是其他的，当时的，其实有一个我的学弟在有大本，他他一直在维护这个相关的项目，他现在有 video 就是这个，其实社区的力量非常非常重要，就是因为它可以让我们看到说这个。

就是因为其实 action boost 到后面，包括现在的主要的维护已经不是我了，包括是其是其他的，当时的，其实有一个我的学弟在有大本，他他一直在维护这个相关的项目，他现在有 video 就是这个，其实社区的力量非常非常重要，就是因为它可以让我们看到说这个。

比如说我们当时记得很清楚的是，我们在R里面有一个包是做这个呃，这个就VISUALIZATION。

比如说我们当时记得很清楚的是，我们在R里面有一个包是做这个呃，这个就VISUALIZATION。

就它会去可视化你学习的数到底是怎么。

就它会去可视化你学习的数到底是怎么。

它是一个当时来自于法国的律师贡献的，叫MICHAEL。

它是一个当时来自于法国的律师贡献的，叫MICHAEL。

然后他是就是他他比如说我要用这个东西去学习这个大家做呃TEXT，它叫DETECT TEXT FRAUD，就是你在交税的时候会不会就是有这个。

然后他是就是他他比如说我要用这个东西去学习这个大家做呃TEXT，它叫DETECT TEXT FRAUD，就是你在交税的时候会不会就是有这个。

有这个treat的情况，所以说这个时候他就说他就贡献了这个东西啊。

有这个treat的情况，所以说这个时候他就说他就贡献了这个东西啊。

他现在他已经开始转行做数据和数据深度学习和和法律了，但是他turns out这个。

他现在他已经开始转行做数据和数据深度学习和和法律了，但是他turns out这个。

也可以做律师了。

也可以做律师了。

已经他应该还是在做类似于法务和机器学习相关的东西。

已经他应该还是在做类似于法务和机器学习相关的东西。

对，但是就是就那个使得说就是其实很多时候都是因为社区的贡献，大家可以使得这个项目可以成长起来。

对，但是就是就那个使得说就是其实很多时候都是因为社区的贡献，大家可以使得这个项目可以成长起来。

然后第三个，我觉得其实是我们。

然后第三个，我觉得其实是我们。

非常的专注。

非常的专注。

我其实我们做的第一个项目就是那个SVD FEATURE，是一个就现在已经没有人知道了。

我其实我们做的第一个项目就是那个SVD FEATURE，是一个就现在已经没有人知道了。

就是就是我们在交大做了一个项目，其实那个项目其实也还行，因为我们实验室相当于是实验室主传代码用了用了用了用了几代，就是我们的做这个矩阵分解和推荐系统都用它。

就是就是我们在交大做了一个项目，其实那个项目其实也还行，因为我们实验室相当于是实验室主传代码用了用了用了用了几代，就是我们的做这个矩阵分解和推荐系统都用它。

当时这个项目就是一个非常大而全的工具，有一个 config file，config file 里面有大概二三十个这样的 configuration，你可以写一写了，后来那个。

当时这个项目就是一个非常大而全的工具，有一个 config file，config file 里面有大概二三十个这样的 configuration，你可以写一写了，后来那个。

但是后来就是我发现其实对于，包括其实当时同期啊，对 activity，它会有一个包，现在很 popular，叫 circular，它也是非常全的一个项目。

但是后来就是我发现其实对于，包括其实当时同期啊，对 activity，它会有一个包，现在很 popular，叫 circular，它也是非常全的一个项目。

但是我觉得其实说对于很多时候嗯。

但是我觉得其实说对于很多时候嗯。

对于一个小团队，甚至个人的话，会需要非常专注把一件事情做好。

对于一个小团队，甚至个人的话，会需要非常专注把一件事情做好。

就比如 action boost，就是我们就做了一个一个算法，然后就是把这一个算法做好，做到极致。

就比如 action boost，就是我们就做了一个一个算法，然后就是把这一个算法做好，做到极致。

这样子的话，我觉得它相对来说可以比较容易的获得成功。

这样子的话，我觉得它相对来说可以比较容易的获得成功。

一是机制，二是社区，三是专注。

一是机制，二是社区，三是专注。

对。

对。

啊，我还有一个点，你好像没有在任何地方讲过，就是当时你的导师想让你是 kernel methods，让你觉得你像是 tree base methods，所以你是有自己的坚持的。

啊，我还有一个点，你好像没有在任何地方讲过，就是当时你的导师想让你是 kernel methods，让你觉得你像是 tree base methods，所以你是有自己的坚持的。

当时他也没法说服你，反正你就自己去试了，是吧？

当时他也没法说服你，反正你就自己去试了，是吧？

对，是这样的。

对，是这样的。

这是你一直的 style，就是。

这是你一直的 style，就是。

对，就是。

对，就是。

我觉得是我非常感谢我的导师，他给了我非常大的自由度，在这个地方。

我觉得是我非常感谢我的导师，他给了我非常大的自由度，在这个地方。

对，就是说而且其实就就也是有原因的，因为我们当时做全面做 kdd cup，我们做第二年的时候，我们的那个 winning method 就是一个矩阵分解和 tree base method 的一个混合模型。

对，就是说而且其实就就也是有原因的，因为我们当时做全面做 kdd cup，我们做第二年的时候，我们的那个 winning method 就是一个矩阵分解和 tree base method 的一个混合模型。

当时我就意识到说 tree base method 它有它的非常强大的特性。

当时我就意识到说 tree base method 它有它的非常强大的特性。

所以这是为什么我当时就一直保持对去 base space 会比较非常有兴趣的原因。

所以这是为什么我当时就一直保持对去 base space 会比较非常有兴趣的原因。

在这里。

在这里。

但是其实差 g boss 的论文是第三年才开始写的。

但是其实差 g boss 的论文是第三年才开始写的。

是的，是的。

是的，是的。

你提到 carlos 当时说我们写一篇让读者可以学到东西的文章。

你提到 carlos 当时说我们写一篇让读者可以学到东西的文章。

其实我觉得我觉得这个很有意思，因为其实大部分的论文的写法是优化自己的中稿率。

其实我觉得我觉得这个很有意思，因为其实大部分的论文的写法是优化自己的中稿率。

嗯，所以当时你已经觉得我应该 focus on more important thing 是有这样的感觉吗？

嗯，所以当时你已经觉得我应该 focus on more important thing 是有这样的感觉吗？

卡洛斯对我们要求是非常高的，就是基本上我记得刚第一次见面的时候，他就说 you should write the best paper or what paper 就是基本上就是这样子。

卡洛斯对我们要求是非常高的，就是基本上我记得刚第一次见面的时候，他就说 you should write the best paper or what paper 就是基本上就是这样子。

所以说相对来说。

所以说相对来说。

可能是得益于他的那样的 style 并且还有一个就是我们刚进实验室的时候，一个很明确的 feedback 就包括来自于实验室的其他学长，就是说我们实验室有 no beamer，only point point policy。

可能是得益于他的那样的 style 并且还有一个就是我们刚进实验室的时候，一个很明确的 feedback 就包括来自于实验室的其他学长，就是说我们实验室有 no beamer，only point point policy。

就你在做 slide 的时候，就是我原来，就是原来你可以做 latex beamer，对吧？

就你在做 slide 的时候，就是我原来，就是原来你可以做 latex beamer，对吧？

就是就是基本上他会有很强的要求，说你做 presentation 的时候需要能够。

就是就是基本上他会有很强的要求，说你做 presentation 的时候需要能够。

用 visual，用用你的视视图，对吧，来让大家能够很快的学会你做的东西。

用 visual，用用你的视视图，对吧，来让大家能够很快的学会你做的东西。

所以这一点其实是我觉得对我们是非常受益匪浅的。

所以这一点其实是我觉得对我们是非常受益匪浅的。

而且特斯拉，其实卡洛斯你会发现他的研究 style，就是他很容易做出他会做非常不同多不同发现，其实在同期，action booth 同期同一年，kde 上面有另外一篇论文。

而且特斯拉，其实卡洛斯你会发现他的研究 style，就是他很容易做出他会做非常不同多不同发现，其实在同期，action booth 同期同一年，kde 上面有另外一篇论文。

叫 lime，就是 explainable machine learning 它其实是开创了可解释机器学习这个方向，这一整个领域，就是，而且那个论文引用率也非常非常高。

叫 lime，就是 explainable machine learning 它其实是开创了可解释机器学习这个方向，这一整个领域，就是，而且那个论文引用率也非常非常高。

就是就是我另外一个，这个 lab 叫 marko，他做的这个东西，就是你会发现他会特别喜欢。

就是就是我另外一个，这个 lab 叫 marko，他做的这个东西，就是你会发现他会特别喜欢。

尝试去做一些工作，能够开创那个领域。

尝试去做一些工作，能够开创那个领域。

并且并且很多时候，这个时候你会发现，你其实是需要能够去让更多的人能够获得学习到你的思想。

并且并且很多时候，这个时候你会发现，你其实是需要能够去让更多的人能够获得学习到你的思想。

in some sense you want to write a paper you are proud of.

in some sense you want to write a paper you are proud of.

所以当时做 xgboost 的时候，有预料到未来会这么成功，这么受欢迎。

所以当时做 xgboost 的时候，有预料到未来会这么成功，这么受欢迎。

并没有并没有，对。

并没有并没有，对。

所以当时就觉得是一个 ok，之前做过，可能和之前的 project 差不多，没有想到会这样引起轰动，然后长长这么长的时间，大家还这么欢迎。

所以当时就觉得是一个 ok，之前做过，可能和之前的 project 差不多，没有想到会这样引起轰动，然后长长这么长的时间，大家还这么欢迎。

对对对，当时就是纯粹就是一，我们觉得我们做的还行，第二个我觉得当时已经有 github 了，就是尝试开源。

对对对，当时就是纯粹就是一，我们觉得我们做的还行，第二个我觉得当时已经有 github 了，就是尝试开源。

嗯，我觉得这个挺好玩的，就就才开始尝试做这个事情。

嗯，我觉得这个挺好玩的，就就才开始尝试做这个事情。

茶几部署，我最后想问你就是。

茶几部署，我最后想问你就是。

嗯，你刚刚说你们当时的判断 PARTLY RIGHT，其实也 IN SOME SENSE PARTLY WRONG。

嗯，你刚刚说你们当时的判断 PARTLY RIGHT，其实也 IN SOME SENSE PARTLY WRONG。

对，因为时至今日，呃，NEURAL NETWORK已经 DOMINATE了。

对，因为时至今日，呃，NEURAL NETWORK已经 DOMINATE了。

我相信在一些 TABLE DATA上，呃，还是有呃其他的方法的作用，但是大部分的场景还是 NEURAL NETWORK。

我相信在一些 TABLE DATA上，呃，还是有呃其他的方法的作用，但是大部分的场景还是 NEURAL NETWORK。

嗯，我我其实比较好奇，十多年后来反思，呃，IN SOME SENSE，你和你的导师当时都错了，你觉得？

嗯，我我其实比较好奇，十多年后来反思，呃，IN SOME SENSE，你和你的导师当时都错了，你觉得？

当时是怎么认知的？

当时是怎么认知的？

当时的认知存在哪些局限性？

当时的认知存在哪些局限性？

呃，当时的判断哪些部分正确，哪些部分错误，又有什么部分时至今日都是，甚至是正确的。

呃，当时的判断哪些部分正确，哪些部分错误，又有什么部分时至今日都是，甚至是正确的。

首先我觉得当时有一个判断我们是正确的是什么呢？

首先我觉得当时有一个判断我们是正确的是什么呢？

模型的 capacity 不应该受限制。

模型的 capacity 不应该受限制。

我们之所以选择树模型的原因很简单，因为树模型你可以 arbitrary grow。

我们之所以选择树模型的原因很简单，因为树模型你可以 arbitrary grow。

如果说你，就是一般的模型呢，你就是限定参数个数。

如果说你，就是一般的模型呢，你就是限定参数个数。

比如说我一个 linear regression 100个参数，它就是100个参数，你不能 arbitrary grow。

比如说我一个 linear regression 100个参数，它就是100个参数，你不能 arbitrary grow。

树模型它一个很很强的特性是，你可以随着你的数据量它可以 arbitrary grow 这个 depth，对吧？

树模型它一个很很强的特性是，你可以随着你的数据量它可以 arbitrary grow 这个 depth，对吧？

这个特性非常强。

这个特性非常强。

呃，当时我们觉得，首先我们当时并没有觉得神经网络。

呃，当时我们觉得，首先我们当时并没有觉得神经网络。

不不能做到这一点，因为神经网络 turns out 但是让我一开始有点，最后有点 surprise 的一点是，神经网络本身它是通过一种另外更暴力的方法来实现这个东西，就是我不尝试去 grow 我的 parameter space，而是我直接就把我的 parameter space 一开始就设的非常大。

不不能做到这一点，因为神经网络 turns out 但是让我一开始有点，最后有点 surprise 的一点是，神经网络本身它是通过一种另外更暴力的方法来实现这个东西，就是我不尝试去 grow 我的 parameter space，而是我直接就把我的 parameter space 一开始就设的非常大。

啊，这个是一个有一点SURPRISE的地方。

啊，这个是一个有一点SURPRISE的地方。

但是我觉得当时就是数模型本身有这个特性，这也是为什么没有选KERNEL METHOD的原因。

但是我觉得当时就是数模型本身有这个特性，这也是为什么没有选KERNEL METHOD的原因。

因为KERNEL METHOD我觉得它并不完全具备这个特性。

因为KERNEL METHOD我觉得它并不完全具备这个特性。

当然虽然说NONPARAMETRIC，它的确也可以GROW WITH THE WITH THE这个这个数据的量，但是它没有数模型这个特性，在这个地方。

当然虽然说NONPARAMETRIC，它的确也可以GROW WITH THE WITH THE这个这个数据的量，但是它没有数模型这个特性，在这个地方。

然后，而且我觉得当时我们对树模型有一个判断是正确的，就是说其实它在tabular data上面，它还是非常的强悍。

然后，而且我觉得当时我们对树模型有一个判断是正确的，就是说其实它在tabular data上面，它还是非常的强悍。

至少至少在现在，你在tabular和tom series上面out of box的模型，其实树模型基本上几乎还是大家的go to tools。

至少至少在现在，你在tabular和tom series上面out of box的模型，其实树模型基本上几乎还是大家的go to tools。

原因也是因为它可以通过切割和组合去做到，其实一般的模型包括神经网络比较难。

原因也是因为它可以通过切割和组合去做到，其实一般的模型包括神经网络比较难。

很直接做到的事情，就是。

很直接做到的事情，就是。

所以这一点我觉得是 something that i think we kind of did right。

所以这一点我觉得是 something that i think we kind of did right。

我觉得可能没有意料到的，相对来说没有意料到这一点。

我觉得可能没有意料到的，相对来说没有意料到这一点。

就是后来，that also become obvious，是是其实神经网络它的另外一个非常强的特性，它的可组合特性啊。

就是后来，that also become obvious，是是其实神经网络它的另外一个非常强的特性，它的可组合特性啊。

你可以会有这个不同的模块，像transformer block linear block，它们之间可以相互组合，然后。

你可以会有这个不同的模块，像transformer block linear block，它们之间可以相互组合，然后。

使得说这个这个就是就是它的表达能力可以通过组合远远起可能更 compact 的去表示一些东西。

使得说这个这个就是就是它的表达能力可以通过组合远远起可能更 compact 的去表示一些东西。

然后这个东西是相对来说，其实我们当时也知道这一点，比如说我们知道说卷积网络的确它可以表示，因为我之前就做了这个深度学习，我就就知道说它的确有这个能力。

然后这个东西是相对来说，其实我们当时也知道这一点，比如说我们知道说卷积网络的确它可以表示，因为我之前就做了这个深度学习，我就就知道说它的确有这个能力。

但是我们当时只是尝试有这个 hypothesis 是说到底是这个模型的表示比较重要呢，还是数据量比较重要，对吧？

但是我们当时只是尝试有这个 hypothesis 是说到底是这个模型的表示比较重要呢，还是数据量比较重要，对吧？

就尝试这个 hypothesis 看一看。

就尝试这个 hypothesis 看一看。

所以就是当时是 that's motivated that project 对。

所以就是当时是 that's motivated that project 对。

这是超级 boost 第二个项目，我想聊的是 mxnet。

这是超级 boost 第二个项目，我想聊的是 mxnet。

能不能简单跟我们讲什么是 mxnet？

能不能简单跟我们讲什么是 mxnet？

当时做 mxnet 的背景和动机是什么？

当时做 mxnet 的背景和动机是什么？

对，其实 mxnet 之前还有一个前身叫 cxxnet，就是就是叫 cxxnet，就是原因也是因为这个。

对，其实 mxnet 之前还有一个前身叫 cxxnet，就是就是叫 cxxnet，就是原因也是因为这个。

呃，我在进入到UW之后第二年，嗯，因为当时AlexNet已经出来了，AlexNet已经出来，然后就是其实这个我们就开始觉得说，哎，包括其实我们同组还有嗯，现在比较大家都知道YOLO，就Joe Redmond也是在我们的LabMate，就他也是在那个那个那段就是大学。

呃，我在进入到UW之后第二年，嗯，因为当时AlexNet已经出来了，AlexNet已经出来，然后就是其实这个我们就开始觉得说，哎，包括其实我们同组还有嗯，现在比较大家都知道YOLO，就Joe Redmond也是在我们的LabMate，就他也是在那个那个那段就是大学。

其呃，应该是研究生之前做博士之前做了YOLO这个FRAMEWORK。

其呃，应该是研究生之前做博士之前做了YOLO这个FRAMEWORK。

我们当时就觉得说OK，因为因为我原来有那段不那么成功的经历做深度学习，但是其实我心里一直对深度学习有很强的PASSION。

我们当时就觉得说OK，因为因为我原来有那段不那么成功的经历做深度学习，但是其实我心里一直对深度学习有很强的PASSION。

然后发现ALEXNET诶成功了之后，我发现诶我也可以似乎似乎深度学习还真是比较正确的东西呢。

然后发现ALEXNET诶成功了之后，我发现诶我也可以似乎似乎深度学习还真是比较正确的东西呢。

我们是不是还可以尝试一下？

我们是不是还可以尝试一下？

所以说就是当时就通过把原来的研究生那段时间的不那么成功的经验，来去开始去重新做这样一套深度学习框架，叫 cxxnet 当时是和那个许斌，就是他现在在那 video。

所以说就是当时就通过把原来的研究生那段时间的不那么成功的经验，来去开始去重新做这样一套深度学习框架，叫 cxxnet 当时是和那个许斌，就是他现在在那 video。

就我们开始做了第一个版本。

就我们开始做了第一个版本。

当时其实我们做的时候，卡费就杨青已经把卡费已经 release 出来了。

当时其实我们做的时候，卡费就杨青已经把卡费已经 release 出来了。

然后我们做 cxnet，我们当时是我们做了一个技术叫 expression template，就是通过模板编程，可以使得说你把这个，就是你做 update rule，就是比如说你做乘法和减法这些东西，它都可以压缩到一个模板里面去，然后生成一个内联的 gpu kernel 这样一个技术。

然后我们做 cxnet，我们当时是我们做了一个技术叫 expression template，就是通过模板编程，可以使得说你把这个，就是你做 update rule，就是比如说你做乘法和减法这些东西，它都可以压缩到一个模板里面去，然后生成一个内联的 gpu kernel 这样一个技术。

然后当时我们觉得这个东西可以更简单的做这个。

然后当时我们觉得这个东西可以更简单的做这个。

做这个深度学习框架，于是我们就做了这样一个东西。

做这个深度学习框架，于是我们就做了这样一个东西。

然后，而且我们其实当时拿 cxnet 打了 kaggle，对对，kaggle 一开始出来时候有那个相，深度学习相关的东西。

然后，而且我们其实当时拿 cxnet 打了 kaggle，对对，kaggle 一开始出来时候有那个相，深度学习相关的东西。

然后后来呢，我们做完 cxnet 之后同一年，其实呃张征老师，就 msi，他当时 msi 和敏捷他们做了一个项目叫 minerva。

然后后来呢，我们做完 cxnet 之后同一年，其实呃张征老师，就 msi，他当时 msi 和敏捷他们做了一个项目叫 minerva。

是另外一个，就是当时其实蛮百花齐放，就大家都在尝试去看，说我们怎么样做深度学习框架，对吧？

是另外一个，就是当时其实蛮百花齐放，就大家都在尝试去看，说我们怎么样做深度学习框架，对吧？

就是当时他们都很明亮，然后还有那个灵敏，就他现在在应该在新加坡。

就是当时他们都很明亮，然后还有那个灵敏，就他现在在应该在新加坡。

他后就是他之前做了一个框架叫PERIOD。

他后就是他之前做了一个框架叫PERIOD。

呃，还有就是当时这个木哥他们原来做这个呃，他是当时做PARAMETER SERVER嘛，就是做那个参数服务器。

呃，还有就是当时这个木哥他们原来做这个呃，他是当时做PARAMETER SERVER嘛，就是做那个参数服务器。

然后也开始尝试要开始做深度学习。

然后也开始尝试要开始做深度学习。

就是后来我也我也不是很记得，就怎么样能够大家就合在一起SOMEHOW。

就是后来我也我也不是很记得，就怎么样能够大家就合在一起SOMEHOW。

还有就是那个池张池源，他当时在MIT，他当时拿JULIA写了一个。

还有就是那个池张池源，他当时在MIT，他当时拿JULIA写了一个。

框架也是做这个，也是做这个叫做摩卡，就是就是也是在茱莉亚下面的一个什么东西框架。

框架也是做这个，也是做这个叫做摩卡，就是就是也是在茱莉亚下面的一个什么东西框架。

对，然后当时就三炮，我们就可能是通过各种各样的契机就聚在了一起。

对，然后当时就三炮，我们就可能是通过各种各样的契机就聚在了一起。

当时觉得哎，我们要不要一起来做一个项目，能够去吸收原来minerva的lesson？

当时觉得哎，我们要不要一起来做一个项目，能够去吸收原来minerva的lesson？

minerva它有一些非常我觉得在现在还蛮先进的lesson，就是就是几乎就是类似于。

minerva它有一些非常我觉得在现在还蛮先进的lesson，就是就是几乎就是类似于。

Python first 去做，因为当时那个那个，就是 cafe 的那个年代，大家都还是 c 加加核心的代码的 python first 的这个这个实现。

Python first 去做，因为当时那个那个，就是 cafe 的那个年代，大家都还是 c 加加核心的代码的 python first 的这个这个实现。

然后并且就是我们当时说， ok，我们一起来做做看这个东西。

然后并且就是我们当时说， ok，我们一起来做做看这个东西。

就是所以说核心 max 它做的事情，第一个是我们觉得说我们要用 python first 在 python 里面可以可以编写深度学习框架。

就是所以说核心 max 它做的事情，第一个是我们觉得说我们要用 python first 在 python 里面可以可以编写深度学习框架。

第二个我们要自动调度，就是说你可以使得说你直接写。

第二个我们要自动调度，就是说你可以使得说你直接写。

这个 forward backward 函数的时候，你在 python 里面直接写，但是它可以根据你的这个计算的依赖，可以来使得说你可以比如说你在多卡的时候可以并行，就是可以做 all reduce，它的通信可以和计算可以一起走，对吧？

这个 forward backward 函数的时候，你在 python 里面直接写，但是它可以根据你的这个计算的依赖，可以来使得说你可以比如说你在多卡的时候可以并行，就是可以做 all reduce，它的通信可以和计算可以一起走，对吧？

就可以自动调度，然后。

就可以自动调度，然后。

就是第三个就可以自动求导，就是因为它求导本身从这个深度学习的第一代框架卡贝它是就back propagation到这个第二代，就是通过计算图的自动求导。

就是第三个就可以自动求导，就是因为它求导本身从这个深度学习的第一代框架卡贝它是就back propagation到这个第二代，就是通过计算图的自动求导。

这个东西其实非常不一样，它跨度什么对系统优化有非常大的改善。

这个东西其实非常不一样，它跨度什么对系统优化有非常大的改善。

所以当时我们就决定一起来做这样一个项目，包括因为当时木哥他一直在做这个ps parameter server，也就需要有一个分布式的一个first class citizen，我们就开始ok。

所以当时我们就决定一起来做这样一个项目，包括因为当时木哥他一直在做这个ps parameter server，也就需要有一个分布式的一个first class citizen，我们就开始ok。

我们可以一起来做这个东西。

我们可以一起来做这个东西。

所以 mxnet 这个名字应该是来自于 minava 和 cxxnet 就是这它叫 mixnet 就是其实是这样一个大家混合在一起。

所以 mxnet 这个名字应该是来自于 minava 和 cxxnet 就是这它叫 mixnet 就是其实是这样一个大家混合在一起。

包括这个 mix programming style 就是等编程模式本身。

包括这个 mix programming style 就是等编程模式本身。

因为当时很明确的有编程模式也会存在，我们叫做这个，就是现在现在看，就是叫 declarative，就一声明一计算图。

因为当时很明确的有编程模式也会存在，我们叫做这个，就是现在现在看，就是叫 declarative，就一声明一计算图。

和一个PROGRAMMING，就你直接写了之后就直接算对吧？

和一个PROGRAMMING，就你直接写了之后就直接算对吧？

当时MS的走的路线就是混合，就两个东西都可以去支持。

当时MS的走的路线就是混合，就两个东西都可以去支持。

就是静态和动态计算。

就是静态和动态计算。

对对，同时同时同时做。

对对，同时同时同时做。

然后后来就是包括UW，我们也找到了谢俊元，就是他也是另外一个，他也在做一些东西。

然后后来就是包括UW，我们也找到了谢俊元，就是他也是另外一个，他也在做一些东西。

就我们叫一起合力做这样一个MX的这样一个框架。

就我们叫一起合力做这样一个MX的这样一个框架。

对，就是也比较有意思，就是因为因为那个时候是刚刚我们在努力往前进的时候。

对，就是也比较有意思，就是因为因为那个时候是刚刚我们在努力往前进的时候。

我的暑假在 google brain 实习，然后就是我就知道 tensorflow 要出来了，就是因为我在 dog food，一直在 dog food 的 tensorflow 那个时候。

我的暑假在 google brain 实习，然后就是我就知道 tensorflow 要出来了，就是因为我在 dog food，一直在 dog food 的 tensorflow 那个时候。

当时当时好像，因为当时小伙伴们也都挺 passionate 的，就大家没有觉得这是一件坏事情，就是虽然我们知道 tensorflow 要出来了。

当时当时好像，因为当时小伙伴们也都挺 passionate 的，就大家没有觉得这是一件坏事情，就是虽然我们知道 tensorflow 要出来了。

我们就是说，哎，我们这个出生牛犊，我们也可以 compete 一下嘛，对吧？

我们就是说，哎，我们这个出生牛犊，我们也可以 compete 一下嘛，对吧？

就是就是这个就是，所以说就是当时甚至是很有热情的在继续在往前推动这件事情。

就是就是这个就是，所以说就是当时甚至是很有热情的在继续在往前推动这件事情。

我刚想问你当时有没有 tensor flow，所以你们是明知有 tensor flow，你们还要向这个方向努力。

我刚想问你当时有没有 tensor flow，所以你们是明知有 tensor flow，你们还要向这个方向努力。

mx 在开始立项的时候，我们不知道有 tensor flow，说实话，就是因为那个时候是这个，大概 timeline 是我们差不多是在应该是在前一年的 neurons 上面大家聚了一聚，决定要往前走，做这样一件事情。

mx 在开始立项的时候，我们不知道有 tensor flow，说实话，就是因为那个时候是这个，大概 timeline 是我们差不多是在应该是在前一年的 neurons 上面大家聚了一聚，决定要往前走，做这样一件事情。

然后。

然后。

我是暑假，就是夏天，第二年夏天去了 bring 实习。

我是暑假，就是夏天，第二年夏天去了 bring 实习。

啊，我是在到了 bring 之后，我知道有 tensor flow，it's coming，我在 dog food 的这个东西，然后就是包括我我也给其实给 brain 介绍来 maxnet 的一些经验，在这个地方。

啊，我是在到了 bring 之后，我知道有 tensor flow，it's coming，我在 dog food 的这个东西，然后就是包括我我也给其实给 brain 介绍来 maxnet 的一些经验，在这个地方。

但是我就当时觉得说其实还是不一样的，可以试试看。

但是我就当时觉得说其实还是不一样的，可以试试看。

就是就就是，所以说就是和小伙伴们一起，还是继续往前推。

就是就就是，所以说就是和小伙伴们一起，还是继续往前推。

最后我们应该是。

最后我们应该是。

好像是 tensorflow 现有的意思了。

好像是 tensorflow 现有的意思了。

然后我们大概 official list 是差不多第二点的 new yorks 左右。

然后我们大概 official list 是差不多第二点的 new yorks 左右。

几几年？

几几年？

就是我忘记是具体是哪一年了，应该是差不多在。

就是我忘记是具体是哪一年了，应该是差不多在。

就是。

就是。

16可能是可能是一六一五左右。

16可能是可能是一六一五左右。

当时有 torch 吗？

当时有 torch 吗？

torch 已经有了，但是还没有 pytorch 对。

torch 已经有了，但是还没有 pytorch 对。

啊。

啊。

当时 lua torch。

当时 lua torch。

所以当时你们决定做 python first 的这个东西，应该还是你们比较独有的一个 feature，因为大部分还是 c c 加加。

所以当时你们决定做 python first 的这个东西，应该还是你们比较独有的一个 feature，因为大部分还是 c c 加加。

tensor 其实也是尝试开始走 python，就是我觉得大家开始意识到要走 python 那条路线，对。

tensor 其实也是尝试开始走 python，就是我觉得大家开始意识到要走 python 那条路线，对。

但是的确当时没有共识，因为当时的主流框架是咖啡。

但是的确当时没有共识，因为当时的主流框架是咖啡。

咖啡是 c++。

咖啡是 c++。

所以那么多人，当时那个团队，mx 那个团，大部分应该是在读的 phd。

所以那么多人，当时那个团队，mx 那个团，大部分应该是在读的 phd。

对，大部分是 phd，包括当时木哥在 cmu，对吧？

对，大部分是 phd，包括当时木哥在 cmu，对吧？

我在 udub，然后后来谢俊元也是 udub，张全在这个 mit。

我在 udub，然后后来谢俊元也是 udub，张全在这个 mit。

然后林敏是 nus，就是都是 phd student，还有还有敏杰是在 nyu。

然后林敏是 nus，就是都是 phd student，还有还有敏杰是在 nyu。

那这么多 phd student 聚在一起。

那这么多 phd student 聚在一起。

会不会有那种还有想自己想发一做的那个想法和压力？

会不会有那种还有想自己想发一做的那个想法和压力？

那这种合作怎么怎么能够 work out to be.

那这种合作怎么怎么能够 work out to be.

great 我感觉好像根本没有哎。

great 我感觉好像根本没有哎。

更没有人说这个事，对吧？

更没有人说这个事，对吧？

因为我当时觉得大家纯粹是想要一起做项目，而 max 在最后我们就投了一篇 workshop paper。

因为我当时觉得大家纯粹是想要一起做项目，而 max 在最后我们就投了一篇 workshop paper。

最后还是 alphabetical 的，就是，对，就是，这样当时就觉得，哎，一起做一个项目往前走挺好的。

最后还是 alphabetical 的，就是，对，就是，这样当时就觉得，哎，一起做一个项目往前走挺好的。

完全，很好，就是这个就是纯粹的觉得这个事有价值，我也感兴趣，然后一群志同道合的人。

完全，很好，就是这个就是纯粹的觉得这个事有价值，我也感兴趣，然后一群志同道合的人。

我们一起做。

我们一起做。

当然其实 turn out 其实我觉得最后木哥是在这里面推动最大的，而且他是做了非常大的努力和。

当然其实 turn out 其实我觉得最后木哥是在这里面推动最大的，而且他是做了非常大的努力和。

和这个牺牲，inspiration 就是包括，为了让 mx 的成功，其实他们当时就决定，他毕业之后就去了 amazon，对吧？

和这个牺牲，inspiration 就是包括，为了让 mx 的成功，其实他们当时就决定，他毕业之后就去了 amazon，对吧？

就是，就几乎是最后，亚马逊在很长的一段时间里面，是亚马逊一直在帮忙推动 adoption 和 development。

就是，就几乎是最后，亚马逊在很长的一段时间里面，是亚马逊一直在帮忙推动 adoption 和 development。

所以就是木哥他做了非常非常大的，这个就是他是中流砥柱，能够把大家能够团结在一起。

所以就是木哥他做了非常非常大的，这个就是他是中流砥柱，能够把大家能够团结在一起。

所以他是因为我知道 mx 呢后来被 amazon 选成了这个官方的框框架，对，是。

所以他是因为我知道 mx 呢后来被 amazon 选成了这个官方的框框架，对，是。

因为他选了，所以铃木才去了。

因为他选了，所以铃木才去了。

还是因为铃木去了才选了？

还是因为铃木去了才选了？

我觉得可能都有吧。

我觉得可能都有吧。

而且其实不太为人知的一点啊，其实是。

而且其实不太为人知的一点啊，其实是。

NVIDIA.

NVIDIA.

在非常长的一段时间里面。

在非常长的一段时间里面。

都在 contribute to m x and use m x and.

都在 contribute to m x and use m x and.

嗯，原因是因为在所有的开源框架里面，MXNET一直以来是在多卡并行上面最优秀的一款。

嗯，原因是因为在所有的开源框架里面，MXNET一直以来是在多卡并行上面最优秀的一款。

就是就是在非常长的时间里，包括到PYTHON出来之后一段时间。

就是就是在非常长的时间里，包括到PYTHON出来之后一段时间。

所以AMEDIA在MO PERF，就是他要做MO PERF SUBMISSION，他一定要能够拿到那个最好的分数去跑分的时候。

所以AMEDIA在MO PERF，就是他要做MO PERF SUBMISSION，他一定要能够拿到那个最好的分数去跑分的时候。

就是他是一直在用 m s，直到这个 rest net no longer become relevant 了之后，当然就后来就相对来说就没有那么的重要了。

就是他是一直在用 m s，直到这个 rest net no longer become relevant 了之后，当然就后来就相对来说就没有那么的重要了。

你觉得当时合作的那个团队合作的经历有什么有趣的故事？

你觉得当时合作的那个团队合作的经历有什么有趣的故事？

你觉得现在挺值得回忆和分享的。

你觉得现在挺值得回忆和分享的。

我觉得是。

我觉得是。

一个是大家都会有相互尊重，对吧？

一个是大家都会有相互尊重，对吧？

而且就是就纯粹是技术嘛，就是，而且作为 phd 同学们，大家合作，就是就是，而且很多时候其实就技术讲技术的话，其实很很简单，就是很多时候就是直接讨论我们觉得怎么样往前进，应该选这个方案就选这个方案，选那个方案就选那个方案，就就可以往前走，这个地方。

而且就是就纯粹是技术嘛，就是，而且作为 phd 同学们，大家合作，就是就是，而且很多时候其实就技术讲技术的话，其实很很简单，就是很多时候就是直接讨论我们觉得怎么样往前进，应该选这个方案就选这个方案，选那个方案就选那个方案，就就可以往前走，这个地方。

对，所以就在技术上面我觉得有有非常开放的心态和大家可以一起来合作。

对，所以就在技术上面我觉得有有非常开放的心态和大家可以一起来合作。

我觉得是非常好。

我觉得是非常好。

你觉得 mx 在最巅峰的几年应该是哪个时间段？

你觉得 mx 在最巅峰的几年应该是哪个时间段？

我觉得差不多应该就是木哥去了亚麻之后，然后并且因为MX一直它的多卡性能非常非常的好。

我觉得差不多应该就是木哥去了亚麻之后，然后并且因为MX一直它的多卡性能非常非常的好。

嗯，包括后面，包括像那个图森，就是王乃言和侯晓迪他们有很长一段时间，他们一直在帮忙去贡献和支持MX。

嗯，包括后面，包括像那个图森，就是王乃言和侯晓迪他们有很长一段时间，他们一直在帮忙去贡献和支持MX。

现在还在继续吗？

现在还在继续吗？

还在维护吗？

还在维护吗？

现在已经不维护了。

现在已经不维护了。

现在基本上我觉得它是属于是可以退出历史潮流，因为这个。

现在基本上我觉得它是属于是可以退出历史潮流，因为这个。

In the end 我觉得还是 pytorch is getting it right.

In the end 我觉得还是 pytorch is getting it right.

你觉得这个从当时那么巅峰到现在慢慢淡出历史舞台，这个过程中你学到什么比较宝贵的经验？

你觉得这个从当时那么巅峰到现在慢慢淡出历史舞台，这个过程中你学到什么比较宝贵的经验？

一个我觉得是一定要把用户体验做到极致，对吧？

一个我觉得是一定要把用户体验做到极致，对吧？

这一点是非常非常重要的。

这一点是非常非常重要的。

在这里。

在这里。

所以 mxn 的用户体验没有 torch 好.

所以 mxn 的用户体验没有 torch 好.

对，对，的确没有 torch 好，因为因为的确是你要 eager first 就我们当时在选择用户体验和性能。

对，对，的确没有 torch 好，因为因为的确是你要 eager first 就我们当时在选择用户体验和性能。

上面我们觉得一开始说我们都要，但是但是的确其实应该先选择用户体验，对吧？

上面我们觉得一开始说我们都要，但是但是的确其实应该先选择用户体验，对吧？

在这个地方。

在这个地方。

但是反过来说，后来我意识到一点，就是说还有一大瓶颈，就是工程开发。

但是反过来说，后来我意识到一点，就是说还有一大瓶颈，就是工程开发。

哪怕是有这么多人在堆待里面，为了支持每一代 GPU 的性能和迭代，还是就是人手还是非常不够的。

哪怕是有这么多人在堆待里面，为了支持每一代 GPU 的性能和迭代，还是就是人手还是非常不够的。

这个地方这也是为什么我后来就开始开始做深度学习编译的原因，就是所以说这也是另外一个经验。

这个地方这也是为什么我后来就开始开始做深度学习编译的原因，就是所以说这也是另外一个经验。

当然还有一些其他的经验，就是这个。

当然还有一些其他的经验，就是这个。

每每一代，它的这个基础架构、基础设施，就是其实呃，就是包括你怎么样去做GPU的这个这个数据结构的设计啊，包括这个神经网络的设计啊，这些东西我觉得这些经验都被延续到了现在。

每每一代，它的这个基础架构、基础设施，就是其实呃，就是包括你怎么样去做GPU的这个这个数据结构的设计啊，包括这个神经网络的设计啊，这些东西我觉得这些经验都被延续到了现在。

包括其实MX的本身，它的很多的设计理念，在现在我觉得特别是在分布式的调度上面，都还是非常优秀的。

包括其实MX的本身，它的很多的设计理念，在现在我觉得特别是在分布式的调度上面，都还是非常优秀的。

我用户体验这个我很有感触，因为我大一刚学机器学习的时候，当时TENSORFLOW和TORCH还是一半一半。

我用户体验这个我很有感触，因为我大一刚学机器学习的时候，当时TENSORFLOW和TORCH还是一半一半。

然后TENSORFLOW1.0当时写那个静态图DEBUG，当时我就刚开始学编程，弄得我很难受。

然后TENSORFLOW1.0当时写那个静态图DEBUG，当时我就刚开始学编程，弄得我很难受。

但是用TORCH的体验就非常非常好。

但是用TORCH的体验就非常非常好。

嗯，这个后来我就只用TORCH了。

嗯，这个后来我就只用TORCH了。

所以其实 mxnet 没有办法继续，它不是因为没有大公司做支撑。

所以其实 mxnet 没有办法继续，它不是因为没有大公司做支撑。

因为 facebook 支撑 torch，那么 google 支撑 tensorflow，当时 amazon 在有 mxnet，更多的还是用户体验上。

因为 facebook 支撑 torch，那么 google 支撑 tensorflow，当时 amazon 在有 mxnet，更多的还是用户体验上。

就是各种的 roadmap 当时不够清晰，以至于没有占据更大的份额。

就是各种的 roadmap 当时不够清晰，以至于没有占据更大的份额。

其实其实后面其实我们是 mxnet 本身有在尝试做转变，就是比如说它的2.0之后，几乎就是全面用了一个 mode，对吧？

其实其实后面其实我们是 mxnet 本身有在尝试做转变，就是比如说它的2.0之后，几乎就是全面用了一个 mode，对吧？

包括和 torch。

包括和 torch。

做兼容。

做兼容。

但是就是我觉得本身社区上面的话，因为 torch 的社区已经已经比较壮大了。

但是就是我觉得本身社区上面的话，因为 torch 的社区已经已经比较壮大了。

就包括其实木哥他很长一段时间，那个 grown cv 和 grown nlp 也是一个非常早期的，就非常好用的一个一个项目，对吧？

就包括其实木哥他很长一段时间，那个 grown cv 和 grown nlp 也是一个非常早期的，就非常好用的一个一个项目，对吧？

就是你会发现 grown lp in some sense，你会发现它有点像 hugging face，会有各种各样的因素在这个地方，就技术是其中一方面。

就是你会发现 grown lp in some sense，你会发现它有点像 hugging face，会有各种各样的因素在这个地方，就技术是其中一方面。

嗯，地方对。

嗯，地方对。

我觉得可能这段也让你埋下了一个种子，可能TVM的种子在当时就已经埋下了。

我觉得可能这段也让你埋下了一个种子，可能TVM的种子在当时就已经埋下了。

是是这样子的，基本上我是在，其实其实Maxnet后面，梦哥他们推动了非常久，就是我我后面几乎在Maxnet差不多我们。

是是这样子的，基本上我是在，其实其实Maxnet后面，梦哥他们推动了非常久，就是我我后面几乎在Maxnet差不多我们。

就是我们当时做了之后，应该是我第一次去参加GTC。

就是我们当时做了之后，应该是我第一次去参加GTC。

然后我们当时去讲MS，我就我就觉得说，就回过头来看，我就当时觉得说我还是要花这么多的ENGINEERING EFFORT去支撑这个东西，怎么样能够让这个东西变得更简单一点啊？

然后我们当时去讲MS，我就我就觉得说，就回过头来看，我就当时觉得说我还是要花这么多的ENGINEERING EFFORT去支撑这个东西，怎么样能够让这个东西变得更简单一点啊？

就是就是这这是为什么？

就是就是这这是为什么？

就是怎么样能够让更少的人可以做更多的事情。

就是怎么样能够让更少的人可以做更多的事情。

嗯，就这个是这个是我觉得。

嗯，就这个是这个是我觉得。

就是开始让我开始走进学习编译这个方面。

就是开始让我开始走进学习编译这个方面。

很有意思，我们马上会重点聊 tvm，但 tvm 之前，其实你当时你刚已经提到，你在一个 google brain 度过了一个暑假的实习。

很有意思，我们马上会重点聊 tvm，但 tvm 之前，其实你当时你刚已经提到，你在一个 google brain 度过了一个暑假的实习。

然后当时你说 yan 把你拉到一个 meeting room 里面，给你画了一个坐标系。

然后当时你说 yan 把你拉到一个 meeting room 里面，给你画了一个坐标系。

对，能讲讲那个故事吗？

对，能讲讲那个故事吗？

对，基本上就是当时我还非常幸运，因为当时 yan 是刚到 google brain，就是。

对，基本上就是当时我还非常幸运，因为当时 yan 是刚到 google brain，就是。

而且他的那个应该是干，有没有发布，好像还没有发布，还是就是可能还干还没有发布，他或者已经发布，但是还没有就是火到那个程度，就是所以说我就比较幸运的成为了他第一个 intern 在那个地方，而且他也是非常 open minded 就是我当时跟他说。

而且他的那个应该是干，有没有发布，好像还没有发布，还是就是可能还干还没有发布，他或者已经发布，但是还没有就是火到那个程度，就是所以说我就比较幸运的成为了他第一个 intern 在那个地方，而且他也是非常 open minded 就是我当时跟他说。

哎，你要做什么？

哎，你要做什么？

他说，ok，你我可以给你列一些项目。

他说，ok，你我可以给你列一些项目。

然后我就跟他说，我比较有兴趣的是，我想做 lifelong learning，因为我们当时一直一个 vision，就是说你需要能够让这个智能越来越强大，它要需要能演化，它的模型的 capacity 需要变大，就是你需要能够从一个小的模型。

然后我就跟他说，我比较有兴趣的是，我想做 lifelong learning，因为我们当时一直一个 vision，就是说你需要能够让这个智能越来越强大，它要需要能演化，它的模型的 capacity 需要变大，就是你需要能够从一个小的模型。

一个神经网络，如果一开始很小，它到一定程度肯定会不行的。

一个神经网络，如果一开始很小，它到一定程度肯定会不行的。

如果你要把它放到一个LIFELONG的角度来看的话，那么怎么样去解决这个问题？

如果你要把它放到一个LIFELONG的角度来看的话，那么怎么样去解决这个问题？

对，当时就是就是开始就问这样一个问题。

对，当时就是就是开始就问这样一个问题。

OK，其实现在你会发现，现在很多时候这个问题还是同样存在的。

OK，其实现在你会发现，现在很多时候这个问题还是同样存在的。

所以说这个为什么大家开始会有通过小小的模型在SCALING UP东西。

所以说这个为什么大家开始会有通过小小的模型在SCALING UP东西。

这个当时就是开始做了这个NET TO NET这个项目，就是说怎么样能够。

这个当时就是开始做了这个NET TO NET这个项目，就是说怎么样能够。

一个，当时 research question 说，你已经有一个训练好的小模型，怎么样能够让它快速的 bootstrap 一个大模型，使得说它的这个容量可以变大。

一个，当时 research question 说，你已经有一个训练好的小模型，怎么样能够让它快速的 bootstrap 一个大模型，使得说它的这个容量可以变大。

所以他当时给你画的那个图是一个坐标是 risk，另外一个坐标是 impact，你选了 risk 最大，impact 也最大的那个。

所以他当时给你画的那个图是一个坐标是 risk，另外一个坐标是 impact，你选了 risk 最大，impact 也最大的那个。

topic。

topic。

你会建议年轻的RESEARCHER在科研中偶尔选择这样高风险、高收益的课题，还是应该尽可能多的选择这样的课题？

你会建议年轻的RESEARCHER在科研中偶尔选择这样高风险、高收益的课题，还是应该尽可能多的选择这样的课题？

我觉得不同人可能会不一样。

我觉得不同人可能会不一样。

嗯，而且我觉得每一种选择都有它的道理存在，至少在我现在看来，可能我因为我已经经历过很多的失败了。

嗯，而且我觉得每一种选择都有它的道理存在，至少在我现在看来，可能我因为我已经经历过很多的失败了。

然后让我觉得说再失败一次也没有那么差，并且呢，始终我觉得时间是有限的，所以一定要做想要做的事情。

然后让我觉得说再失败一次也没有那么差，并且呢，始终我觉得时间是有限的，所以一定要做想要做的事情。

它不一定是有impact的事情，但是一定要想着想要做的事情。

它不一定是有impact的事情，但是一定要想着想要做的事情。

所以说我觉得almost always我们会ends up就是选一个。

所以说我觉得almost always我们会ends up就是选一个。

比较高风险、高回报的方向。

比较高风险、高回报的方向。

嗯。

嗯。

所以你在结束 google brain 的实习之后，就开启了你在 udacity 的第三年。

所以你在结束 google brain 的实习之后，就开启了你在 udacity 的第三年。

你在机器学习十年那篇文章里面，你说当时你想到了一个可以用低于线性复杂度训练更深模型的方法。

你在机器学习十年那篇文章里面，你说当时你想到了一个可以用低于线性复杂度训练更深模型的方法。

结果你的导师说，ok，这个可能发了就是个 new york's poster。

结果你的导师说，ok，这个可能发了就是个 new york's poster。

对你现在不应该做这种 level 的 research，叫做 best paper level 的。

对你现在不应该做这种 level 的 research，叫做 best paper level 的。

你现在对这个问题有什么思考？

你现在对这个问题有什么思考？

你觉得。

你觉得。

当时卡洛斯啊，对你的影响包括相当于你已经进入博士的中后程了嘛？

当时卡洛斯啊，对你的影响包括相当于你已经进入博士的中后程了嘛？

嗯，你现在回看会是有什么样的感想？

嗯，你现在回看会是有什么样的感想？

对，当时其实啊，他的意思是说其实这个方向是PROMISING的。

对，当时其实啊，他的意思是说其实这个方向是PROMISING的。

但是如果说你要做的话，你要做的更好一点，就是你需要能够不要光用这样一个算法，你需要能够设计一个更好的方法可以。

但是如果说你要做的话，你要做的更好一点，就是你需要能够不要光用这样一个算法，你需要能够设计一个更好的方法可以。

更自动的解决，怎么样去选择这个 recomputation。

更自动的解决，怎么样去选择这个 recomputation。

但是因为当时精力有限，我没有做这个东西。

但是因为当时精力有限，我没有做这个东西。

后来有 follow up work，by the way，去做相关的工作。

后来有 follow up work，by the way，去做相关的工作。

对，但是就是基本上他的意思是说，你需要挑你做的东西，并且一定决定要做的话，你需要做的深了。

对，但是就是基本上他的意思是说，你需要挑你做的东西，并且一定决定要做的话，你需要做的深了。

我觉得这一点这一点我觉得是非常正确的。

我觉得这一点这一点我觉得是非常正确的。

在这里。

在这里。

好，然后你就挑了 tpm。

好，然后你就挑了 tpm。

给我们介绍一下当时是什么样的背景，为什么会觉得呃在那个时刻你觉得呼之欲出，想要做 tvm。

给我们介绍一下当时是什么样的背景，为什么会觉得呃在那个时刻你觉得呼之欲出，想要做 tvm。

其实还是就是从问题出发，从问题出发就说，我们始终的一个，我始终有一个愿望是。

其实还是就是从问题出发，从问题出发就说，我们始终的一个，我始终有一个愿望是。

其实机器学习系统并不应该那么复杂，可以让更少的团队通过正确的技术很快的可以去啊搭建一个机器学习系统。

其实机器学习系统并不应该那么复杂，可以让更少的团队通过正确的技术很快的可以去啊搭建一个机器学习系统。

我们。

我们。

做了不少的尝试，对吧？

做了不少的尝试，对吧？

从 cxnet 到 mxnet，最后发现瓶颈还在。

从 cxnet 到 mxnet，最后发现瓶颈还在。

那我们就问说能不能去解决这个瓶颈？

那我们就问说能不能去解决这个瓶颈？

然后当时就觉得，哎，是不是可以用机器学习编译这条技术来去解决它？

然后当时就觉得，哎，是不是可以用机器学习编译这条技术来去解决它？

机器学习这个编译是你提出来的吗？

机器学习这个编译是你提出来的吗？

之前有这个概念吗？

之前有这个概念吗？

当时会有一些其他领域的，通过编译技术解决这个解决这个相关问题的比较著名的一个工作叫黑赖。

当时会有一些其他领域的，通过编译技术解决这个解决这个相关问题的比较著名的一个工作叫黑赖。

就它是在这个图像处理这个方向上面，通过编译技术来解决它这个图像处理工具的这个就是就是类似开发对吧？

就它是在这个图像处理这个方向上面，通过编译技术来解决它这个图像处理工具的这个就是就是类似开发对吧？

然后所以说其实TVM一开始也。

然后所以说其实TVM一开始也。

是 inspired from huggingface 我们一开始的时候也其实是呃复用了一些 huggingface 的设计。

是 inspired from huggingface 我们一开始的时候也其实是呃复用了一些 huggingface 的设计。

所以当时的 background 是嗯深度学习框架都有了，当时应该在在 tvm 的时候 torch tensorflow 都在那了。

所以当时的 background 是嗯深度学习框架都有了，当时应该在在 tvm 的时候 torch tensorflow 都在那了。

是的。

是的。

嗯，那 tvm 当时在解决什么样重要的问题？

嗯，那 tvm 当时在解决什么样重要的问题？

我们当时解决的问题就是，你本来你去做一个聚成，或者说做一些东西的，你。

我们当时解决的问题就是，你本来你去做一个聚成，或者说做一些东西的，你。

这些 kernel 都是要手写的，包括你这个 kernel 本身，它对于不同的数据的 layout 比如说你在你在这个卷积网络里面，它可能会有 nhwc 就是你到底是 channel first 还是这个这个，就是就会有非常多的变种。

这些 kernel 都是要手写的，包括你这个 kernel 本身，它对于不同的数据的 layout 比如说你在你在这个卷积网络里面，它可能会有 nhwc 就是你到底是 channel first 还是这个这个，就是就会有非常多的变种。

并且在后面你会需要做算子的融合，就是说你的这个这个呃不同的算子之间，要么把它们融合在一起。

并且在后面你会需要做算子的融合，就是说你的这个这个呃不同的算子之间，要么把它们融合在一起。

就所以说就是这些问题本身其实是一个非常大的空间。

就所以说就是这些问题本身其实是一个非常大的空间。

都是要靠手写的，就是根本干不过来。

都是要靠手写的，就是根本干不过来。

所以我们很自然的一个问题就是能不能去自动去生成这些东西？

所以我们很自然的一个问题就是能不能去自动去生成这些东西？

对。

对。

所以哪怕只是举成也有太多的变种了。

所以哪怕只是举成也有太多的变种了。

以至于哪怕只是矩阵乘法，它会根据不同的你的输入的尺寸和硬件的形态，它最优的实现都还是会不太一样。

以至于哪怕只是矩阵乘法，它会根据不同的你的输入的尺寸和硬件的形态，它最优的实现都还是会不太一样。

所以TVM当时我记得你有个形容是在荒岛里面要建成吧？

所以TVM当时我记得你有个形容是在荒岛里面要建成吧？

为什么？

为什么？

会这么有挑战？

会这么有挑战？

当时的 landscape 是什么样的？

当时的 landscape 是什么样的？

就是因为当时没有深度学习编译嘛，对吧？

就是因为当时没有深度学习编译嘛，对吧？

就是说我，相当于是我们只是觉得说这个方向可行。

就是说我，相当于是我们只是觉得说这个方向可行。

要不要试试看？

要不要试试看？

并且呢，其实我们当时在做的时候，还有一个 research 的层面的考虑，就是我们在我有一个体系结构的合作者叫叫 terry，他在做深度学习加速器。

并且呢，其实我们当时在做的时候，还有一个 research 的层面的考虑，就是我们在我有一个体系结构的合作者叫叫 terry，他在做深度学习加速器。

就是就是我们当时在拿 fpga 打什么东西，假设打 npu。

就是就是我们当时在拿 fpga 打什么东西，假设打 npu。

然后我们当时觉得，哎，我们要不要试试看，直接直接把这个编译器和这个 npu 合在一起玩一玩看，是吧？

然后我们当时觉得，哎，我们要不要试试看，直接直接把这个编译器和这个 npu 合在一起玩一玩看，是吧？

这个就，但我也不知道 npu 是什么回事，就是直接就是摸着石头过河，觉得这个东西应该设计成这样子。

这个就，但我也不知道 npu 是什么回事，就是直接就是摸着石头过河，觉得这个东西应该设计成这样子。

最后我们还是真的给这个 npu 设计了一个指令集，然后开始去写编译器，for that。

最后我们还是真的给这个 npu 设计了一个指令集，然后开始去写编译器，for that。

所以就是基本上非常像 a 三班大作业那段经历，也是你从头搭一个 cpu 和编译器 for that 嗯，我觉得就是就是就是就是就因为有了原来那段经历之后，让我觉得不是很慌，就是做这件事情。

所以就是基本上非常像 a 三班大作业那段经历，也是你从头搭一个 cpu 和编译器 for that 嗯，我觉得就是就是就是就是就因为有了原来那段经历之后，让我觉得不是很慌，就是做这件事情。

但是其实也做了很久啊，我们从开始。

但是其实也做了很久啊，我们从开始。

准备要做这件事情是差不多在我 gtc 回来，也就是4月份的时候开始要开始准备往这个方向开始做到他第一个能跑起来的东西，应该是第二年的3月份。

准备要做这件事情是差不多在我 gtc 回来，也就是4月份的时候开始要开始准备往这个方向开始做到他第一个能跑起来的东西，应该是第二年的3月份。

就是一个月。

就是一个月。

对，然后基本上就是都在写代码，就是在这个，就对，就差不多差不多是这样。

对，然后基本上就是都在写代码，就是在这个，就对，就差不多差不多是这样。

所以当时你会有没有担心或者怀疑过自己在提结构编译器这个领域的经验或者能力不足，做TVM的风险过高？

所以当时你会有没有担心或者怀疑过自己在提结构编译器这个领域的经验或者能力不足，做TVM的风险过高？

其实当时没有想这个风险这个问题，当时只是觉得说。

其实当时没有想这个风险这个问题，当时只是觉得说。

哎，这个东西。

哎，这个东西。

我想做，而且似乎是我我们要解决继续学习问题的瓶颈，就去试试看。

我想做，而且似乎是我我们要解决继续学习问题的瓶颈，就去试试看。

对，就是就是这样的。

对，就是就是这样的。

就我我感觉好像我做事情很少考虑，很少考虑风险，可能不是一件好事情。

就我我感觉好像我做事情很少考虑，很少考虑风险，可能不是一件好事情。

但是就是就是相对来说，只要我觉得他有挑战，然后当然就是我我是。

但是就是就是相对来说，只要我觉得他有挑战，然后当然就是我我是。

比较清楚我有技术路线，就是我当时有想过，就在在飞机上面有想过大概的基本技术路线是什么样子。

比较清楚我有技术路线，就是我当时有想过，就在在飞机上面有想过大概的基本技术路线是什么样子。

然后，而且因为前面有经历之后，每一年都是有磨练的嘛，就是 xgboost 到 m x net，包括到前面的经历，其实。

然后，而且因为前面有经历之后，每一年都是有磨练的嘛，就是 xgboost 到 m x net，包括到前面的经历，其实。

我觉得这种架构能力可以磨练出来，就你大概已经会。

我觉得这种架构能力可以磨练出来，就你大概已经会。

所以说，就这个而言，其实反倒因为我前面的经验会更有信心，知道说我虽然说可能他会花时间，但是应该是可以做出来的。

所以说，就这个而言，其实反倒因为我前面的经验会更有信心，知道说我虽然说可能他会花时间，但是应该是可以做出来的。

我注意到一个细节，就是你的那个机器学习十年那个文章是19年发布的。

我注意到一个细节，就是你的那个机器学习十年那个文章是19年发布的。

对，在24年李牧留了一个评论，他说当时你 phd 第三第四年，你跟他说要做 tvm。

对，在24年李牧留了一个评论，他说当时你 phd 第三第四年，你跟他说要做 tvm。

他说你现在 phd 快结束，做这个一个新的大坑，对，会不会风险太高？

他说你现在 phd 快结束，做这个一个新的大坑，对，会不会风险太高？

然后你说当时不管未来去工作也好，创业也好，找教职也好。

然后你说当时不管未来去工作也好，创业也好，找教职也好。

最重要的还是要做当时自己觉得最重要的事。

最重要的还是要做当时自己觉得最重要的事。

对。

对。

然后李牧说，现在看起来这是唯一正确的做事的方式。

然后李牧说，现在看起来这是唯一正确的做事的方式。

所以你当时完全没有，就是说自己反正 phd 当时你做的东西已经够了，够毕业了。

所以你当时完全没有，就是说自己反正 phd 当时你做的东西已经够了，够毕业了。

然后你也没有去，你也没有去考虑下一个阶段人生安排是什么，你就觉得这事重要，我就做了。

然后你也没有去，你也没有去考虑下一个阶段人生安排是什么，你就觉得这事重要，我就做了。

嗯哼，而且就是其实我的导师他本身都会比较鼓励你去做一些你觉得。

嗯哼，而且就是其实我的导师他本身都会比较鼓励你去做一些你觉得。

就一般的时候大家都会说 do do the impact forces 但是 impact 很难 measure 对吧？

就一般的时候大家都会说 do do the impact forces 但是 impact 很难 measure 对吧？

你也很难 predict 嗯，而且很多时候 you will miss the goal。

你也很难 predict 嗯，而且很多时候 you will miss the goal。

但是我觉得做想做的事情很重要，对吧？

但是我觉得做想做的事情很重要，对吧？

这个地方。

这个地方。

tvm 项目开发过程中，你刚刚说嗯第一年的4月到第二年的3月，这个项目才一开始跑起来。

tvm 项目开发过程中，你刚刚说嗯第一年的4月到第二年的3月，这个项目才一开始跑起来。

对。

对。

10 11个月的时间，其实你在这个 podcast 里面一句话就概述了，但是其中又没有什么。

10 11个月的时间，其实你在这个 podcast 里面一句话就概述了，但是其中又没有什么。

经历你可以分享给我们，你现在觉得记忆犹新的，不断的写代码的过程。

经历你可以分享给我们，你现在觉得记忆犹新的，不断的写代码的过程。

我觉得是一个不断迭代的过程，在那个过程中，就是，而且其实比较比较有趣的就是 again 就是因为我觉得当时就不怕，就是我们虽然不懂也不怕，就是比如我们当时做 npu 一开始我们可能想的想法更 wild 就是说我直接能不能直接通过神经网络直接直接 bake 到这个 fpga 的 wire 里面去。

我觉得是一个不断迭代的过程，在那个过程中，就是，而且其实比较比较有趣的就是 again 就是因为我觉得当时就不怕，就是我们虽然不懂也不怕，就是比如我们当时做 npu 一开始我们可能想的想法更 wild 就是说我直接能不能直接通过神经网络直接直接 bake 到这个 fpga 的 wire 里面去。

对，但这个方向也有人做，后来就 h 高 level senses。

对，但这个方向也有人做，后来就 h 高 level senses。

然后后来我们结论就是 ok，我们先做一个 npu，就因为当时 tpu 的 paper 刚出来，但没有人知道知道 tpu 是怎么回事。

然后后来我们结论就是 ok，我们先做一个 npu，就因为当时 tpu 的 paper 刚出来，但没有人知道知道 tpu 是怎么回事。

我们就 ok，我们先自己设计一个 npu，然后我们在设计 npu 的时候，当时也会很很很直接，你去。

我们就 ok，我们先自己设计一个 npu，然后我们在设计 npu 的时候，当时也会很很很直接，你去。

下地看问题的时候，你会看到问题的。

下地看问题的时候，你会看到问题的。

比如说NPU，我们发现很明显的一个问题是你的内存读写和计算这两个操作是必须要同时进行的那个地方。

比如说NPU，我们发现很明显的一个问题是你的内存读写和计算这两个操作是必须要同时进行的那个地方。

然后我们当时就一开始就想说，哎，我要们怎么样解决这个问题？

然后我们当时就一开始就想说，哎，我要们怎么样解决这个问题？

因为一般来说，你设计一条指令，读内存是一条指令，计算是一条指令。

因为一般来说，你设计一条指令，读内存是一条指令，计算是一条指令。

你怎么样能够在硬件级别让计算指令和读内存的指令可以通过流水线或者其他方式给留起来。

你怎么样能够在硬件级别让计算指令和读内存的指令可以通过流水线或者其他方式给留起来。

并且我们当时虽然说没有意识到，后来我们发现我们当时设计NPU的想法是非常有趣的，就是大部分的NPU在一开始的时候是完全。

并且我们当时虽然说没有意识到，后来我们发现我们当时设计NPU的想法是非常有趣的，就是大部分的NPU在一开始的时候是完全。

Hard wired，which means 就是说使得说它完全不可编程，就 npu 不存在指令，你直接就是直接就说它就一个功能，卷积，对吧？

Hard wired，which means 就是说使得说它完全不可编程，就 npu 不存在指令，你直接就是直接就说它就一个功能，卷积，对吧？

进去出来。

进去出来。

但是我们当时设计的这个 npu 叫 vta，versatile tensor accelerator。

但是我们当时设计的这个 npu 叫 vta，versatile tensor accelerator。

它是存在指令级的，就是因为我们是从编译的角度出发。

它是存在指令级的，就是因为我们是从编译的角度出发。

其实你可以把举成或者其他东西都可以分解成更小的步骤，更小的举成内存读写，可以用同一套指令集编程去实现更多的算计。

其实你可以把举成或者其他东西都可以分解成更小的步骤，更小的举成内存读写，可以用同一套指令集编程去实现更多的算计。

于是为了为了使得你可以有一套可编程的微指令，加上这个 overlap 可以实现。

于是为了为了使得你可以有一套可编程的微指令，加上这个 overlap 可以实现。

我我自己不是做体系结构出身，但我们就是 from first principle 我们在想可以怎么样做这件事情，然后就当时就设计了一套这个关于用，我们叫做，应该是用一个叫做 q，hardware q 和 signal 来去做判断。

我我自己不是做体系结构出身，但我们就是 from first principle 我们在想可以怎么样做这件事情，然后就当时就设计了一套这个关于用，我们叫做，应该是用一个叫做 q，hardware q 和 signal 来去做判断。

其实后来发现，我们发现就有一些NPU的确也就用了这个东西。

其实后来发现，我们发现就有一些NPU的确也就用了这个东西。