機器之心報道
編輯：張倩
Eric Jang：「我希望我一生的工作是為人類實作更大的技術飛躍。」
今年上半年，中美網際網路、科技公司都迎來了不同程度的裁員和縮招。但與此同時，也有不少人選擇了在這個時期跳槽，而且是從令人羨慕的「大廠」跳到他們感興趣的創業公司。下圖是 Mila 研究者 Ethan Caballero 整理的一份「最近離開谷歌的 AI 研究者」 的名單：
名單位址：https://docs.google.com/spreadsheets/d/14M-K2JHTOqWVsV4x95psAb94CblRIrhBimk8HVgwmRY/edit#gid=0
這份名單包含很多我們熟悉的研究者，比如 Transformer 重要作者 Ashish Vaswani 和 Niki Parmar，他們和同樣在名單中的 Anmol Gulati、Augustus Odena 等人一起創立了一家名為 Adept 的新公司，緻力于讓人和計算機以創造性的方式一起工作，進而實作通用智能。
當然，并不是所有人都會在離開谷歌之後創立自己的公司，比如谷歌機器人進階研究科學家 Eric Jang。他在今年三月末從谷歌離職（待了 6 年），4 月 25 日宣布加入挪威機器人公司「Halodi Robotics」，擔任 AI 副總裁一職。
對于這一選擇，不少人可能會問，為什麼要選擇這樣一家公司？這些大廠研究人員在跳槽時都考慮哪些因素？在前段時間釋出的一份部落格（All Roads Lead to Rome: The Machine Learning Job Market in 2022）中，Eric Jang 詳細介紹了他的決策過程以及他對美國目前機器學習就業市場的了解和對 AGI（通用人工智能）實作路線的看法。
以下是部落格原文：
選擇下家公司時考慮的因素
就我本人來說，下一份工作的唯一限制因素是我想繼續運用自己的機器學習技能。下表列出了我考慮過的各個選項。我和這些公司的董事和創始人都談過，但大多都沒走到接受 HR 正式面試的程度。注意，這些選項的利弊隻是我基于 2022 年 4 月的觀察所列出的主觀觀點。在充滿炒作的矽谷，一家公司可能在幾年内就經曆過山車一樣的大起大落，是以這張表可能很快就會過時。
注：圖中特斯拉一欄中的「No waiting in line for coffee」指的是馬斯克曾威脅要解雇所有在 SpaceX 公司排着長隊等咖啡的實習生，并安裝了攝像頭，以確定此類事件不會再次發生。（來源：https://twitter.com/rabois/status/1514601392178040836）
技術領先時間
對我來說，在選擇下一家公司時，最重要的決定因素是該公司是否擁有領先競争對手數年的技術優勢。谷歌日志團隊的一位朋友告訴我，他對小公司不感興趣，因為他們在技術上遠遠落後于谷歌的行星級基礎設施，他們甚至還沒有開始了解谷歌現在正在解決的問題，更不用說解決谷歌十年前就已經開始着手解決的問題了。
在上表中，我列出了我認為具有獨特技術優勢的公司。例如，OpenAI 現在在招聘方面絕對是壓倒性的，因為他們在大型語言模型算法方面處于領先地位，能憑借模型 surgery 和超參數調優這類商業機密玩轉 scaling law。盡管 FAANG 在算力方面擁有優勢，但 OpenAI 顯然在創造技術領先時間方面做得很好。
與此同時，如果拿一個 FAANG 的普通機器學習研究者和一個博士生相比，前者在 raw compute 方面要領先 15 年。谷歌和 DeepMind 的語言模型在大多數名額上可能比 GPT-3 更強。但在有些情況下，計算方面的技術領先是不夠的。于是，一些研究人員離開了谷歌，因為在對外推出基于大型語言模型的産品時，他們不得不經曆很多繁瑣的程式，這令他們非常不滿。
我認真考慮過将我的職業規劃轉向生成模型（generative models），因為：1. 機器人學非常難；2. 在 ML 泛化方面，最令人印象深刻的案例似乎總是在生成式模組化中。然而，純生成的模組化空間感覺競争有點激烈，每個人都在為擁有同樣的産品和研究想法而奮鬥。不管有沒有我，這個領域都可能以同樣的方式發展。
擁有未來技術對于招聘工程師來說非常重要，因為他們中的許多人并不想浪費自己的生命去建立别人已經擁有的能力。舉個例子，這就像一個神經科學實驗室試圖招募博士生用膜片鉗實驗研究猴子的大腦，而隔壁的實驗室正在使用光遺傳技術和 Neurallink 機器人。如果你有天賦，你可以自己重新發明這些，但這真值得你花費寶貴的時間嗎？
當然，公司和研究實驗室不是一回事。從長遠來看，産品與市場的契合度，以及團隊建構未來技術優勢的能力将更加重要。現有公司可能會變得臃腫、偏離軌道，而新貴公司可能會利用不同的優勢，或将設計引向獨特的方向。很多獨角獸公司都不是先行者。
為什麼不選擇自己開公司呢？
作為一個灣區人，我原本打算圍繞 MLOps 開辦自己的公司。我想建立一個領先的資料管理和标注系統，用于 AGI + 主動學習。但有三件事改變了我的想法：
首先，我和一些客戶談了談，以了解他們的 ML 和資料管理需求，看看有沒有哪個産品市場比較适合我。他們的很多問題并不需要前沿技術來解決，但我對前沿技術之外的很多問題又不感興趣，比如為營銷活動構模組化拟器、為工廠中的機械臂拾放做出更好的姿勢評估器或對使用者提要内容進行排名等。絕大多數企業都在解決無聊但重要的問題。但我希望我一生的工作是為人類實作更大的技術飛躍。
其次，我認為，在公司估值突破 1 億美元後，CEO 們很少能做出任何令人印象深刻的技術貢獻。要想把工作做得很好，他們就要花大部分時間去處理協調、産品和公司層面的問題。他們積累了令人難以置信的社交管道和影響力，甚至可能不時送出一些代碼，但他們每天的日程安排充滿了 bullshit，他們再也不會卓有成效地修補這些代碼了。類似情況也發生在進階研究人員身上。這讓我非常害怕。
著名計算機科學家、圖靈獎得主理查德 · 漢明在他的演講《You and Your Research》中說道，「如果你有了一些出色的成果，你就會被拉進各種委員會，然後沒辦法再出新的成果。」
有傳聞說，Ken Thompson 在妻子出去度假一個月的時間裡寫出了 UNIX 作業系統，因為這個月他有時間專注于更深層次的工作。《The Murder of Wilbur Wright》中寫道，如果這是真的，那該有多可怕？有沒有可能 Thompson 一生都背負着沉重的責任，然後在一個短暫的自由時刻做了一些任何人都沒有做過的最重要的工作？
最後，我選擇的 Halodi 已經建立了非常棒的技術，他們給了我一個難得的機會去體驗未來生活，這些都建立在領先時代 5 + 年的東西之上。我對 Bernt（公司 CEO）對人體解剖學的尊重印象深刻：從使我們即使沒有精确規劃依然可以抓握的過阻尼系統的内在被動智能，到讓我們在幾乎不消耗能量的情況下穿過可變地形的足部彈簧系統。我們都相信，當你想圍繞人類而不是機器來設計世界時，類人機器人在完成大多數任務時并非「矯枉過正」，而是唯一可行的形式。
Halodi Robotics 開發的人形機器人。
條條道路通羅馬
幾個月前，我問 Ilya Sutskever（OpenAI 首席科學家），到底是創辦一個純粹的 AGI 研究實驗室（如 OpenAI、DeepMind），還是一個可以盈利的技術公司更有意義，後者可以産生建構 AGI 所需的資料護城河。
Ilya 說：「條條大路通羅馬，每一家成功的科技公司都将會成為 AGI 公司。」
這聽起來有點令人詫異，但你應該記得，重複改進一個産品涉及到指數級難度增長的更深度的技術。
在半導體制造中，從 32nm 工藝節點縮小到 14nm 是相當困難的，但從 14nm 到 7nm 是更加困難的，你需要解決超純水之類的中間問題；
在 1980 年代，為漸凍症患者建立一個簡單的文本轉語音系統已經成為可能，但改進邊緣情況的發音和自然地處理語調變化還要得益于深度學習的突破；
在單台計算機上你就可以訓練一個不錯的字元級語言模型，但從條件字元模組化中去除一些熵需要依靠資料中心；
高速公路的自動駕駛并不太難，但在住宅區道路上實作 L5 級别的自動駕駛才被認為是完備的 AGI。
為了在未來幾十年繼續為客戶增加邊際價值，企業們必須習慣于解決一些非常困難的問題。也許最終每個人都會聚在一起解決同樣的難題，即 AGI，這樣他們就可以制作具有競争力的短視訊應用程式、待辦事項清單或文法檢查器。我們可以對「AGI」的含義以及所有公司實作這一點需要多長時間持懷疑态度，但我覺得基礎模型很快就會成為許多軟體産品的下注之地。
我還想知道幾年後，無損壓縮大量網際網路級資料的專業知識是否将不再成為技術領先者 (FAANG) 之間的防禦護城河。是以，尋找輔助資料和業務護城河以疊加到大規模 ML 專業知識上是有意義的。通往 AGI 的道路有很多條，我在下面為一些大型玩家勾勒出了這些道路：
例如，Alphabet 擁有很多有價值的搜尋引擎資料，可以捕捉到人類的想法和好奇心。Meta 記錄了大量的社會智能資料和性格特征。如果他們願意，他們可以收集 Oculus 控制器的互動來建立人類行為的軌迹，然後将這些知識用于以後的機器人技術。TikTok 的推薦算法可能比我們更了解自己的潛意識。即使是像 Grammarly、Slack 和 Riot Games 這樣的公司，也擁有用于人類智能的獨特資料護城河。
這些公司中的每一個都可以利用他們的業務資料作為創造通用智能的楔子，通過行為克隆人類的思想和欲望本身。
我個人（通過加入 Halodi）押注的護城河是「比其他任何公司都領先 5 年的人形機器人」。Halodi 已經有了，而特斯拉正在開發他們的同類産品。我在 Halodi 的主要工作最初是訓練模型以解決移動操作中的特定客戶問題，同時也為 AGI 制定路線圖：如何從人形形式壓縮大量具身的第一人稱資料，進而産生通用智能、心智理論和自我意識。
近年來，具身 AI 和機器人研究已經失去了一些光彩，因為大型語言模型現在可以解釋笑話，而機器人仍然在以不可接受的成功率進行拾取和放置。但或許，這值得一次反向押注，即僅在比特世界對模型進行訓練是不夠的，莫拉維克悖論根本不是悖論，而是我們沒有解決「大部分智能」的後果。
莫拉維克悖論是由人工智能和機器人學者所發現的一個和常識相左的現象。和傳統假設不同，人類所獨有的高階智慧能力隻需要非常少的計算能力，例如推理，但是無意識的技能和直覺卻需要極大的運算能力。如莫拉維克所寫，「要讓電腦如成人般地下棋是相對容易的，但是要讓電腦有如一歲小孩般的感覺和行動能力卻是相當困難甚至是不可能的」。
選擇之後的擔憂
我對 Halodi（以及一般的 AGI 初創公司）有一些真正的擔憂。曆史告訴我們，機器人公司的死亡率很高，我不知道有哪家通用機器人公司曾經成功過。
機器人公司傾向于從通用機器人的使命開始，然後迅速轉向專注于一些無聊的事情。波士頓動力、Kindred、Teleexistence——名單不勝枚舉。就像在商業和生活中一樣，資本和進化的力量共同支援着硬體的專業化，而不是智能的普遍化。我祈禱這不會發生在我們身上。
我想起了 Gwern 關于「時機」的文章：過早推出意味着失敗，但保守和過晚推出同樣糟糕，因為無論預測如何，一個好主意都會像火一樣吸引過度樂觀的飛蛾一樣的研究人員或企業家: 所有人都被獻祭了，隻有一個運氣好、在完美瞬間親吻火焰的人，最後赢得了一切，此時每個人都可以看到最佳時機已經過去。
但我也提醒自己理查德 · 海明對克勞德 · 香農的評價：
「他想創造一種編碼方法，但他不知道該怎麼做，是以他創造了一種随機代碼，接着就被卡住了。然後他問了一個不可能的問題：這些平均随機代碼能做什麼？然後他證明了這些平均代碼是随機良好的，也就是說至少有一個代碼是良好的。除了有無畏勇氣的人，誰敢這麼想？」
人生苦短，做任何事都需要無限的勇氣。
https://evjang.com/2022/04/25/rome.html