微軟萬引理論大佬跳槽OpenAI！入職第一天：這裡人才密度簡

傳聞證實，微軟機器學習理論萬引大佬，官宣跳槽加入OpenAI。

入職第一天，他便發出如此感慨：

話一說出去就得到印證，他口中的人才們都來評論區排隊歡迎了。

他是Sebastien Bubeck，微軟前AI副總裁和傑出科學家，在微軟工作10年。

2021年，他曾用一篇理論研究展示擴大AI模型規模的重要性，幫助說服微軟CEO納德拉在AI基礎設施上增加數十億美元的投資。

他的職業生涯前15年都投入在計算機理論和機器學習理論，研究的是凸優化、在線學習和對抗穩健性這些問題，直到——

微軟作爲OpenAI合作伙伴，派他參與了未安全對齊版GPT-4早期測試，期間他來了一場戲劇性的轉型。

全面轉向AGI研究。

在當時外界還只接觸過GPT-3.5的背景下，看起來就像“理論學者轉型研究科幻了”，而他本人是這麼解釋的：

之後他便帶領微軟團隊發佈一篇154頁的GPT-4實驗報告《AGI的火花》，一時引起全業界轟動，成爲人們對AI過高期待的重要推手。

後來他承認過當時的實驗方法並不算嚴格，但並不後悔，並堅持“沒有證據否定GPT-4已經具有一定推理能力”。

在轉型期間的一次演講中，他分享了自己對“Transformer到底有什麼特別之處”的思考，指出很多人容易忽略的一點：Transformer不是序列模型。

與RNN等模型關鍵區別在於Transformer一次處理一個集合，而不是序列中的單個輸入。

這次他加入OpenAI的時機非常微妙，本人強調是在“開發安全AGI的關鍵時刻加入”。

微軟發言人的聲明中也提到，“Sebastien已決定離開微軟，以進一步開發AGI”。

同時，現在也是OpenAI和微軟聯盟漸漸破裂的時刻，奧特曼和OpenAI首席財務官近期對員工抱怨，微軟行動速度不夠快，沒有提供足夠的服務器。

兩家開始相互視對方爲備胎，OpenAI找了甲骨文做額外的雲計算供應商，微軟也開始在旗下產品中接入谷歌和Anthropic模型。

不得不說，很耐人尋味。

一篇論文影響微軟對AI的數十億美元投入

Sebastien Bubeck，2010博士畢業於法國里爾第一大學數學專業。

在普林斯頓大學做三年助理教授後，於2014年加入微軟，從普通研究員一路做到VP。

在2023年轉型AGI研究之前，就憑理論研究收穫上萬被引，現在總被引數來到23475。

2021年他與斯坦福博士生Mark Sellke合著論文《A Universal Law of Robustness via Isoperimetry》，不僅入選NeurIPS2021傑出論文，也對微軟和整個人工智能業界產生影響。

這篇論文解釋了爲什麼實踐中訓練模型需要的參數比理論建議的要多得多，幫助說服微軟CEO納德拉和微軟研究院院長Peter Lee等，在AI基礎設施上增加數十億美元的投資。

隨後這些對數據中心和先進GPU的投資爲OpenAI提供了訓練和部署大模型的支柱。

Peter Lee後來表示“這是整個人工智能之旅中非常重要的時刻，不僅對於微軟，而是對於所有大型科技公司”。

在轉型研究AGI後，他在研究中解釋了自己的新方向：AGI的物理學。

他認爲Transformer和自然界一樣都是複雜系統，需要用物理的方法去研究。

文章轉載:[vjw.m-e-f.com）

物理學的核心在於將一個系統進行分解，辨認出產生所觀察到的行爲的真正關鍵要素。

文章轉載:[rt.indexartist.com）

第一步從通過可控的實驗，研究小規模“玩具模型”開始。

文章轉載:[ndyn.genki-store.com）

隨後他就在微軟開啓了Phi系列小模型研究，控制訓練數據中只有教科書級別的高質量數據和合成數據，並發表論文《Textbook is all you need》。

文章轉載:[jn.free-escorts.com）

到現在Phi系列小模型已迭代到phi-3.5版本，在本地大模型推理工具ollma上，開源模型中受歡迎程度排第5。

文章轉載:[fxa.fetchblog.com）

One More Thing

文章轉載:[bh.colorifique.com）

Bubeck在《AGI的火花》論文中，展示了滿血版GPT-4通過代碼畫獨角獸的能力，隨訓練進度增長飛快。

文章轉載:[xrd.barbarabagshaw.com）

他認爲未來這是考驗大模型智力的一個有趣的檢驗標準，也成了這個meme的代言人。

文章轉載:[tb.atvbushings.com）

但或許出乎他意料的是，今天的主流模型不僅能勝任畫圖，甚至能組團玩你畫我猜了。

文章轉載:[plfb.allmoosedhome.com）

參考鏈接：[1]https://x.com/SebastienBubeck/status/1851762399491375592[2]https://www.youtube.com/watch?v=XLNmgviQHPA&t=643s[3]https://nips.cc/virtual/2021/oral/27814[4]https://www.geekwire.com/2024/ai-dreams-microsoft-50-chapter-1/

文章轉載:[lv.aboutsehinton.com）