第399章 李东来了
中午休息的时候,主会场外的大厅里。
人群三三两两的凑在一起,也不知道在讨论些什麽,时不时的还会爆发出一阵的老钱笑声。
李东和唐杰站在大厅一角。
“怎麽样,听出门道没有?”
唐杰端着一杯咖啡问道。
李东:“底层范式全在切变道。”
“眼光够毒的呀。”
唐杰有些诧异的说道。
“那你再往深处琢磨琢磨,这帮巨头为什麽不约而同,非要赶在这个节骨眼上改写技术路线?”
李东看着他:“为什麽?”
“撞上datawall(数据墙)了呗。”
“互联网上那些高质量的预训练语料,github开源代码、arxiv论文库、优质百科,早就被各家用爬虫吸干了。”
“万亿参数规模的模型每年胃口都在变大,但是现在大家都没东西喂了。”
“所以你看今天台上讲的那些套路。”
唐杰教授抬了抬下巴。
“在inference端堆算力,靠慢思考平摊成本,这叫避开数据墙。”
“花重金搞rlhf,弄一套刁钻的rewardmodel去给生成的合成数据打分提纯,靠模型自己左右互搏,这叫虚空造数据。”
“说穿了全是被高质量数据枯竭给硬生生逼出来的。”
李东若有所思地点了点头,然後又想到了一个问题。
“那模型架构呢?顶会的paper全公开了,哪怕只照着公式复现他们不怕别人追上吗?”
“paper这玩意儿,只是个前瞻pr。”唐杰笑了笑说道。
“可真正拉开代差的核心壁垒有两样,paper里从来都不会写半个字。”
“一样是infra,另一样是基於真实交互反馈的数据飞轮。”
“这个护城河一旦转起来,後来的人光靠砸钱买算力,是不可能弯道超车的。”
李东沉默了。
就在这时一个头发花白的老者端着咖啡走了过来,隔着几步就笑着打招呼。
“唐!”
唐杰回头一看,也笑着迎上去握手。
来人是kaist的金教授,做具身智能和机器人方向的,前两年起就一直在用唐杰他们开源的视觉-语言大模型跑端侧部署的控制实验,两人在别的学术论坛也碰过几面。
这一回韩国做东道主,金教授热情得不行,张口就邀请唐杰会後去他们实验室里坐一坐。
客套了几句唐杰很自然地介绍道。
“金教授,给您介绍一下,这位是李东教授。”
“李教授,幸会。”金教授礼貌地伸出手,嘴里默念了一遍这个名字。
李东。
这名字,听着有点耳熟。
就在他暗自琢磨的工夫,唐杰补了一句。
“菲尔兹奖得主。”
金教授握着李东的手,整个人都僵住了。
然後连声音都有哦点变调了。
“哦!”
“原来是您呀!”
金教授先前那点矜持早就没了,握着李东的手连晃了好几下,又是久仰,又是掏手机,非要留个联系方式不可。
临走前还说他们基础科学研究院那边一直想请李教授去做场高维流形的报告,这回可算逮着真人了。
金教授前脚刚走,又有人凑了过来。
这回是国内一家大厂智能云那边的何姓负责人。
他先客客气气地同唐杰打了招呼,两边毕竟在b端生态上是同行,所以还是很熟的。
等唐杰把李东介绍给他的时候,这位何总也是一样的流程。
先是客气地点头,等听到“菲尔兹奖得主”时,整个人一下热情了起来。
“李教授!久仰久仰!回头到了国内,一定登门拜访!”
再往後,来打招呼的人,就一拨接着一拨了。
有欧洲顶级实验室的主席,有矽谷核心引擎组的资深研究员,有挂着参展商工牌的大厂战略决策人,也有壮起胆子凑过来想合影的学生。
唐杰在圈子里的江湖地位摆在那里,走到哪儿都少不了人来寒暄。
而每一回,他都会笑嗬嗬地把身边的李东介绍一遍。
十个人里,总有八九个走一遍熟悉的流程
如此三番五次。
到了下午,李东也来了这场顶会的消息,便在会场里传开了。
……
展区一角的咖啡台边,两个挂着参展商工牌的人正凑在一处闲聊。
一位是某家顶级云计算大厂的战略总监,另一位是一家头部ai芯片公司的市场负责人。
“李东也来了。”战略总监说。
“是啊。”
“真没想到这尊做纯数的大神也对ai感兴趣。”
“哎,这有什麽想不到的。”
“现在底层算力和agi范式就是黑洞,什麽前沿学科都得往里吸。”
“你看陶哲轩他们那帮搞纯数的,不也全下场玩aiformath了吗?估计李东这趟过来,也是想在神经正切核(ntk)或者参数化优化那边找降维打击的切入点。”
市场负责人想了想,深以为然地点了点头。
两人没再多说,目光却不约而同地往大厅李东所在的方向投去。
……
与此同时,主会场侧面的贵宾休息区。
亚当凯利、戴维朗、西蒙哈特,正在和彼得诺维格聊天。
几个人有一搭没一搭地聊着。
就在这时,一个人从休息区外快步走到了西蒙哈特身边,附在他耳边低声说了一句什麽。
西蒙哈特诧异了一下。
随後他点了点头表示知道了。
“是出什麽bug了吗?”亚当凯利随口问道。
西蒙哈特看了几人一眼,言简意赅。
“李东也到了。”
在场几个人都怔了一下。
尤其是彼得诺维格。
当初克拉拉在电话里报出这个名字的时候,他确实没想起来这人是谁。
可当天他就回过味儿来了。
菲尔兹奖史上最年轻的得主。
前一阵子,这名字在学术圈的新闻里被疯狂轮播,可能其他行业不知道李东长什麽样,但是绝对没人不知道这个名字。
而且李东这个人,在深度学习的深水区里,本来就是个香饽饽。
当年那套降维算法1.0,很多大厂其实已经私下在做适配了,虽然还不是完全适配,但整个行业其实也是吃到了一点红利的。
而且可别忘了。
李东手里还有一套到现在也没开源的降维算法呢。
那东西只要落到谁的手里,谁就能将整个大模型的训练效率和内存开销,当场撕开代差。
所以这一瞬间在场那三个人,都戒备地看了一眼身旁的另外两位。
然後,三个人几乎是不约而同地朝诺维格打了声招呼就转身朝着同一个方向去了。
诺维格望着那三道离开的身影也站起身,跟了上去。
那套降维算法,他当然也感兴趣。
不过比起这个,他更在意的是……
这个李东和自己的宝贝女儿,到底是什麽关系?
难道,真的仅仅只是合作者关系吗?