第394章 知己者，莫若东也
讲到这儿，台下的学生就有点撑不住了。
他们才大二啊。
这帮人虽说不少都已经上手做起了自己的AI项目，模型调起来一个比一个溜，可姚先生今天讲的这个，实在太特麽垂直了。
这已经不是“会不会用”的层面。
这是得专门钻进深度学习的数学理论里头，整天跟损失景观、隐式偏置、泛化边界这些东西打交道的人，才跟得上的东西。
随着姚先生的讲解，黑板上的公式越堆越多。
【Θ(x，x′)=??f/?θ，?f/?θ?……】
底下勉强还能跟上的人，越来越少。
有人已经开始小声地议论了起来。
“姚先生今天这……跟平时不太一样啊？”
这话说到了点子上。
平时姚先生上课，是出了名的深入浅出。
再难的东西，他总能用一些大家听的动的例子来讲解，把学问讲得有趣，好懂。
可今天他讲的这些什麽过参数化的损失景观，梯度下降的隐式偏置，还有那个懒惰训练背後的NTK机制……
这根本就不是给一群大二智班学生准备的东西。
这像是讲给同行听的。
然而坐在後排的李东，却听得津津有味。
这些东西，有一些他也不是全懂。
哪怕这一个礼拜，他几乎把市面上能找着的AI论文、文献、测评，一篇不落地全塞进了记忆宫殿。
可记忆宫殿这玩意儿，说到底只是个仓库。
它能存，却不能替李东啃透。
那些论文这一篇是讲损失景观，那一篇是讲泛化，另一篇又在讲什麽核方法，李东完全没办法将它们有序的关联起来。。
而姚先生此刻在台上讲的这些，就像一根针线，终於将这些串联了起来。
损失景观为什麽会连成片，连成片之後梯度下降凭什麽偏心，偏心又怎麽扯到了核方法的头上……
原来，它们讲的是同一件事。
……
就在李东顺着这根线往下捋的时候。
台上的姚先生，忽然停了下来，低头看着教案，似乎是在等底下的同学消化。
教室里，一下子就静了。
李东还沉浸在刚才的思路里没出来，姚先生讲的那个懒惰训练有个地方他一时没搞明白。
於是他下意识地就喃喃自语了一句。
“……可它要是一直这麽懒，那它到底是从什麽时候起，才真正学到东西的呢？”
声音不大。
可教室太静了，这一句话就显得格外的清楚了。
姚先生本来还低头看着教案，听见这一声，他抬起了头。
目光落到後排的李东身上，他笑了笑。
“李东教授，你这个问题，问得很好，”老人慢条斯理地说道，“网络要是真就一直这麽懒、一直围着起点打转，那它顶多算个换了身皮的核方法，谈不上学到什麽新东西。它真正开始学，是从它肯挪窝、肯把那些旋钮往远了拧、在底层自己长出一套有用特征来的那一刻起的。”
“这中间隔着的那道坎叫逃离NTK机制，进入特征学习。”
“至於这道坎卡在哪儿，又该怎麽迈过去……”
姚先生笑着摇了摇头。
“这恰恰是现在还没有几个人能说清楚的事。”
姚先生话音一落，李东却愣在了那里。
周围几个学生偷偷瞄他，心里都犯起了嘀咕。
好家夥。
这个问题难成这样了？连东神都被说懵逼了？
然而李东并没有被说懵。
他愣住的原因只是因为……刚才他的脑子里毫无征兆地冒出来一些更深的东西。
【当网络宽到极限的时候，不再被看成一堆死板的旋钮，而是化作了一片连续的“概率分布”】
【每一个神经元，都成了这片分布里的一粒尘埃。】
【训练也不再是苦哈哈地一个个拧旋钮，而是这一整片分布，在一个叫Wasserstein空间的几何世界里，顺着最省力的方向流动。】
这是把训练直接写成了一道描述质量如何流动的偏微分方程啊。
而顺着这道方程往下，那道卡了无数人从懒惰到特征学习的坎，竟隐隐约约露出了一点能绕过去的缝。
这才是李东懵逼的原因，他立刻就反应了过来……
这是姚先生脑子里的思路，是姚先生那些还没来得及说出口、甚至自己都未必理顺了的灵感。
它们被薪火相传进阶版的效果，塞进了李东的记忆宫殿里。
可紧接着李东又觉得不对劲。
刚才他坐在底下听，姚先生讲了那麽久，他脑子里也只是把旧东西串了串，半点新的没冒出来。
偏偏是他喃喃问了那一句、姚先生回了他那一句之後。
这股灵感才出现的。
“不会吧……”
“难道非得我开口问才能……触发这个效果？”
他越想越觉得是这个理。
於是李东抬起头，有些抱歉地，看了一眼教室里那一张张还懵着的脸。
对不住了，各位。
接下来我要干的这些事，真不是我自己想这麽干的。
……
於是在智班这一屋子人的眼皮子底下……
李东自打问完头一个问题以後，就完全停不下来了。
“姚先生，那顺着这个往下想。”
“要是干脆别盯着一个个参数看了，把整张网络拉到无限宽，看成一片连续的分布，训练是不是就能看作这片分布的演化？”
姚先生握着粉笔的手，微微一顿。
他没料到，这小子一张口，直接切到了平均场理论的腹地。
“……可以这麽看。”
他眼里也透出了光。
“把训练写成分布的流动，那你紧接着就会撞上一个问题，它顺着什麽尺度在流动？”
“顺着最省力的方向呗。”
李东几乎是脱口而出。
“可省力得有个尺度，寻常的欧氏距离不顶用，得换一种能丈量两片概率分布远近的法子……”
“最优传输给的度量尺度。”
姚先生接了下去，语速也快了几分。
“拿Wasserstein距离当尺度，这片分布的流动，就成了一道最优传输空间里的梯度流。”
“再往下一落地，你就得到一道偏微分方程。”
“连续性方程！”
两个人几乎是同时说出了这五个字。