LeCun揭露Meta刷榜黑幕，田淵棟創(chuàng)業(yè)官宣：未曾預料的結局
結果確實被篡改了一部分。為了獲得更優(yōu)的成績，團隊針對不同的基準測試采用了不同的模型。
都說不要招惹離職人員，不止LeCun，田淵棟也在個人年終總結中透露了一些內幕。
明明是被拉來為Llama4解決問題的，事先預想了四種可能性，結果小扎給了我第五種……
（扶額苦笑.jpg）
無論如何，至于離職后的計劃，兩位大神不約而同地表示：
創(chuàng)業(yè)！
Llama4刷榜引發(fā)離職潮
DeepSeek給小扎帶來的壓力實在太大了。
此前就有消息爆料，DeepSeek的突然崛起，讓Llama4還未發(fā)布就落在了后面，迫使小扎加大對AI的投資力度。
這一點也得到了LeCun的證實。
小扎確實慌了，在公司內部施壓，要求生成式AI部門加快AI開發(fā)和部署的速度，還請來原FAIR團隊的田淵棟來解決問題。
結果導致團隊之間的溝通直接斷裂。LeCun他們想要嘗試新的東西，但小扎更傾向于已經(jīng)被驗證過、可以直接落地的技術。
真正的導火索來自于Llama4的失敗。
不僅輸了比賽，還因為排行榜造假導致名聲一落千丈，于是小扎徹底對團隊所有人失去了信任，將他們全部邊緣化。
這也直接導致Meta開啟了團隊大換血：一邊不惜重金從硅谷各公司挖人，一邊又大刀闊斧地裁掉老員工。
田淵棟及其團隊是最先受到影響的一批人。
一月份被緊急安排加入Llama4項目，十月份Llama4.5一訓練完成就被“卸磨殺驢”。
這次田淵棟都得喊冤……
因為上級的壓力，整個小組被迫放下手頭正在進行的工作，來處理Llama4的爛攤子，距離發(fā)布截止日期只剩2個月，還要處理所有的臟活累活。
為此，田淵棟當時還專門畫了一個2x2的回報矩陣，計算了做這件事的四種結局：
但老板都發(fā)話了，不得不干啊，田淵棟想著那就盡力而為，問心無愧吧。
結果辛辛苦苦干了幾個月，小扎一個都沒選，給出了Plan E：不追究負責人的責任，反而把田淵棟和組員們一腳踢了出去。
難怪田淵棟回顧這段經(jīng)歷時，也要說一句：
這也讓我對社會的復雜性有了更深刻的認識。
不過好在田淵棟自己也想得開，他說自己已經(jīng)在Meta待了十多年了，最近幾年更是抱著“公司快把我開了吧”的心態(tài)，所以也算是因禍得福，還為他接下來的小說創(chuàng)作提供了不少新素材（doge）。
（咳咳）言歸正傳，這幾個月對于田淵棟來說，也不算毫無收獲，在強化學習訓練的核心問題上他也有了一些新的探索。
首先是大模型推理，繼2024年底團隊公開的連續(xù)隱空間推理（coconut）引發(fā)廣泛關注后，團隊繼續(xù)通過理論工作Reasoning by Superposition進一步闡明了連續(xù)隱空間推理的優(yōu)勢。
與此同時，也從不同角度嘗試提升模型推理效率：Token Assorted通過隱空間的離散token減少計算開銷、DeepConf基于置信度提前終止推理、ThreadWeaver制造并行思維鏈加速推理，以及在不同規(guī)模模型中用RL學習推理能力。
在可解釋性方面，研究聚焦于Grokking（頓悟）這一特征涌現(xiàn)現(xiàn)象，從記憶到泛化的突變過程入手，試圖解釋模型究竟學到了什么、和輸入數(shù)據(jù)的關系、能達到怎樣的泛化，也就是打開模型的黑箱。
簡而言之，對于被拉來“背黑鍋”這件事，田淵棟對老東家還是手下留情了，雖然你不地道，但我已經(jīng)Let it go～
不過緊隨其后離職的LeCun就沒那么心軟了，直接痛批Meta內部對LLM過度癡迷，尤其是那些新挖來的超級智能實驗室成員。
他點名批評亞歷山大王：年輕且缺乏經(jīng)驗。
雖然學得快，但壓根不懂研究，不知道怎么做、也不知道如何和研究員們相處。
在LeCun面前，這個27歲的年輕人，簡直像個little baby。
但大語言模型并非他們所想象的那樣美好，LeCun直言，LLM有用但本質受限于語言，夸張一點說：
LLM是死胡同。
要實現(xiàn)人類水平的智能，就必須了解物理世界的運作規(guī)律，也就是LeCun長期專注的世界模型，但Meta對此已經(jīng)喪失了興趣。
在研究路線上的分歧，也讓LeCun不得不離開公司，開啟自己人生的下一章——創(chuàng)業(yè)。
離開Meta做點啥？創(chuàng)業(yè)
LeCun的新公司名為Advanced Machine Intelligence（AMI），做的還是他心心念念的世界模型，而且完全采用開源模式。
不過據(jù)他自己透露，他只會擔任新公司的執(zhí)行主席而不是CEO。
我是一名科學家，我能激勵人們工作，以及預測哪項技術會成功，但我不擅長組織管理，而且實在太老了。
LeCun將擁有和之前在Meta相同的研究自由度，而負責帶領AMI的將是法國醫(yī)療AI初創(chuàng)公司Nabla的聯(lián)合創(chuàng)始人兼CEO Alex LeBrun。
他們將目光聚焦在V-JEPA架構上，試圖通過學習視頻和空間數(shù)據(jù)來理解物理世界，讓AI完成規(guī)劃、推理并擁有長期記憶，也就是他常說的高級機器智能。
LeCun預計將在12個月內，見證該項技術初始版本的誕生，并在最近幾年內實現(xiàn)大規(guī)模進展，雖然它顯然還遠遠稱不上超級智能，但至少在通往AGI的道路上，它存在希望。
而作為LeCun的老下屬，田淵棟也拒絕了大廠們紛紛拋來的橄欖枝，剛剛正式宣布創(chuàng)業(yè)！
具體細節(jié)暫時未公布，但他表示：
趁著自己還年輕，去當一家新初創(chuàng)公司的聯(lián)合創(chuàng)始人。
不管怎樣，先安靜地忙活一陣。
參考鏈接：
[1]https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2
[2]https://zhuanlan.zhihu.com/p/1990809161458540818
本文來自微信公眾號“量子位”，作者：關注前沿科技，36氪經(jīng)授權發(fā)布。
本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。
免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com