Pre AGI 時代的第一場大型輿論「鬧劇」。

馬斯克和「深度學習三巨頭」之一的 Bengio 等一千多位學界業(yè)界人士，聯(lián)名呼吁叫停 AI 大模型研究的新聞，刷屏網絡，掀起軒然大波。

GPT 的研究會被叫停嗎？在學界業(yè)界看來，AI 真的會對人類產生威脅嗎？這封聯(lián)名信是證據(jù)鑿鑿的警示還是徒有恐慌的噱頭？支持者、反對者紛紛表態(tài)，吵作一團。

在混亂中，我們發(fā)現(xiàn)，這份聯(lián)名信的真實性和有效性都存在問題。很多位列署名區(qū)的人們，連他們自己都不知道簽署了這封聯(lián)名信。

另一方面，聯(lián)名信本身的內容也值得商榷，呼吁人們重視 AI 安全性的問題當然沒錯，可叫停 AI 研究 6 個月，甚至呼吁政府介入，等待相關規(guī)則、共識的制定。這種天真且不切實際的做法，在科技發(fā)展的歷史上實屬少見。

與此同時，不少人發(fā)現(xiàn)，OpenAI 開放了一批 GPT-4 API 的接口申請，開發(fā)者們正興奮地想要將這轟動世界的技術成功應用在他們的產品中。Pre AGI 時代的序幕，已經緩緩拉開。

AI 會停下來嗎？AI 能停下來嗎？

又或者像網友所說的，你想要叫停福特 A 型車的量產嗎？

在福特 T 型車退出市場后，A 型車幫助福特重新奪回汽車銷量的頭把交椅。

截至發(fā)稿前，F(xiàn)ounder Park 發(fā)現(xiàn)，聯(lián)名信簽名人數(shù)從 1125 減少為 1123 人。

注：極客公園記者凌梓郡對本文亦有貢獻。

01

聯(lián)名信說了什么？

在 Future of Life Institute（FLI）的官網上，有著公開信的全文內容，總結如下：

公開信呼吁所有人工智能實驗室，至少在 6 個月內立即暫停訓練比 GPT-4 更強大的人工智能系統(tǒng)研究包括當前正在訓練的 GPT-5。

這封信認為，具有人類競爭力的人工智能系統(tǒng)可能對社會和人類構成深刻的風險，因為這已經得到了廣泛的研究并得到了頂級人工智能實驗室的認可。

此外，該信還呼吁 AI 實驗室和獨立研究者們，利用這個暫停時間共同開發(fā)和實施一套共享的高級 AI 設計和開發(fā)安全協(xié)議，并由獨立外部專家進行嚴格審核和監(jiān)督。這些協(xié)議應確保遵守這些協(xié)議的系統(tǒng)是安全的，而且必須有充分的理由證明這種信心，并隨著系統(tǒng)潛在影響的大小而增加。

02

發(fā)起方是誰？

Future of Life Institute：生命未來研究所創(chuàng)立于 2014 年 3 月，創(chuàng)始人為麻省理工學院宇宙學家馬克斯·泰格馬克，Skype 聯(lián)合創(chuàng)始人讓·塔林，哈佛大學博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學博士生、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學圣克魯茲分校宇宙學家安東尼·阿吉雷。

官網上介紹的公司使命是：

保護生命的未來，某些技術的開發(fā)和使用對地球上的所有生命有著深遠的影響。目前，人工智能、生物技術和核技術就是這種情況。

如果管理得當，這些技術可以改變世界，使今天活著的人和所有尚未出生的人的生活大大改善。它們可以被用來治療和消除疾病，加強民主進程，以及緩解--甚至阻止--氣候變化。

如果管理不當，它們可能會起到相反的作用。它們可能產生災難性的事件，使人類屈服，甚至可能將我們推向滅絕的邊緣。

生命未來研究所的使命是引導變革性技術遠離極端、大規(guī)模的風險，并使之有益于生命。

03

誰簽署了聯(lián)名信？

截至北京時間 3 月 29 日下午 16 點，公開信簽名人數(shù)為 1125 人，我們整理了其中比較知名的一些學者和科技行業(yè)的從業(yè)人士等。

Yoshua Bengio：約書亞·本吉奧，加拿大計算機科學家，因其在人工神經網絡和深度學習方面的研究而知名。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎，以表彰他們在深度學習方面的貢獻。這三位也被稱為「圖靈三巨頭」。

Stuart Russell：加州大學伯克利分校人工智能統(tǒng)計中心創(chuàng)始人兼計算機科學專業(yè)教授，一直關注人工智能領域的發(fā)展。同時，他還是人工智能領域里標準教科書《人工智能：現(xiàn)代方法》的作者。

Elon Musk：埃隆·馬斯克，眾所周知，SpaceX、特斯拉和 Twitter 的 CEO，OpenAI 的前股東。

Steve Wozniak：史蒂夫·沃茲尼亞克，蘋果公司聯(lián)合創(chuàng)始人。

Yuval Noah Harari：尤瓦爾·赫拉利，耶路撒冷希伯來大學的歷史系教授，《人類簡史》三部曲作者。

Andrew Yang：楊安澤，前進黨創(chuàng)始人暨現(xiàn)任該黨共同黨主席，美國創(chuàng)業(yè)組織創(chuàng)始人、2020 年美國總統(tǒng)選舉民主黨初選候選人。

Jaan Tallinn：讓·塔林，Skype 聯(lián)合創(chuàng)始人，也是這封公開信的發(fā)起網站 Future of Life 的創(chuàng)始人之一。

Evan Sharp：伊文·夏普，Pinterest 聯(lián)合創(chuàng)始人。

Emad Mostaque：Stability AI 創(chuàng)始人，Stability AI 成立于 2019 年，目前已經是估值超過 10 億美元的獨角獸企業(yè)，旗下產品有 Stable Diffusion 等，Stable Diffusion 是近期熱門的文本生成圖片的應用。

John J Hopfield：約翰·約瑟夫·霍普菲爾德，美國科學家，1982 年發(fā)明了聯(lián)想神經網絡，現(xiàn)在通常稱為霍普菲爾德網絡。

Rachel Bronson：雷切爾·布朗森，《原子科學家公報》總裁兼首席執(zhí)行官。《原子科學家公報》由知名物理學家阿爾伯特·愛因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學家于 1945 年創(chuàng)立，負責管理「末日時鐘」的倒計時情況。

Max Tegmark：馬克斯·泰格馬克，宇宙學家，現(xiàn)為麻省理工學院教授、基礎問題研究所科學主任。生命未來研究所的創(chuàng)始人之一。

Victoria Krakovna：DeepMind 的研究科學家，也是生命未來研究所的創(chuàng)始人之一。DeepMind 是一家英國的人工智能公司，2014 年被 Google 收購，2016 年他們開發(fā)的 AlphaGo 打敗了李世石，引起不小的反響。

我們實測了提交簽名的流程，在提交了個人姓名（杜撰了一個）和郵箱后，會收到這樣的提示，暫時不確認后續(xù)的人工確認流程是怎樣的。

03

聯(lián)名信有哪些問題？

三巨頭的另外兩位

深度學習學界三巨頭的表態(tài)必然會引人關注，Yoshua Bengio 的名字赫然列在聯(lián)名者的第一位，那么另外兩位態(tài)度如何呢？

泰斗級的 Hinton 還沒有公開表態(tài)，但他對 OpenAI 的研究成果一直大加褒獎。

LeCun 的表態(tài)更加清晰。

有人在推特上轉發(fā)這封聯(lián)名信，@LeCun 說他和「深度學習三巨頭」的另一位 Benjio 都簽署了這封聯(lián)名信。

Lecun 很快轉發(fā)回應：「沒有。我沒有簽署這封信。我不同意他的前提?！?/span>

據(jù)行業(yè)觀察者猜測，LeCun 所說的前提，也許來源于兩方面。

一是所謂「失控的軍備競賽」，LeCun 作為 Meta AI 研究的門面，顯然是參與者之一，一個月前他還在推特上推廣 Meta 的大語言模型 LLaMA；

二是對于當下 LLM 的研究方向，LeCun 一直保持懷疑，在 ChatGPT 剛剛引起公眾關注的時候，他就表示其底層技術沒有了不起的創(chuàng)新，只是一款組合很好的產品而已?！杆鼈冇悬c像那些死記硬背地學習了材料但還沒有真正建立起潛在現(xiàn)實的深刻心智模型的學生。」

Sam Altman 的表態(tài)

在推特上，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖。

但當我們現(xiàn)在去聯(lián)名人中搜索 Sam Altman 的名字時，已經找不到了。另外，截圖中有 typo，i 應該是大寫 I。

這也許意味著聯(lián)名信初期并沒有嚴格的信息核查機制，填報聯(lián)名的人并沒有確認真實身份。借用名人（甚至很多跟 AI 沒關系的名人）。

Sam Altman 近期的確討論過關于 AI 安全性的問題。在著名播客、YouTuber Lex Fridman 的訪談中，他表示 AI 的確存在偏見、人類失業(yè)等問題，但唯一的解法是 AI 不斷迭代，盡早學習，盡量避免「只有一次機會、必須做對」的情境。

這一話題的前提是，在訪談開頭，Sam Altman 表達了他對 GPT-4 的看法：

「未來當我們回頭看的時候，我們會認為 GPT-4 是一個非常早期的人工智能（AI），它的處理速度緩慢，有很多 Bug，很多事都做不太好。可是，早期的計算機也是這樣。它們需要幾十年時間的演進，但在當時仍然指明了一條道路，通往一些對我們的生活非常重要的東西。」

其他值得關注的署名者

毫無疑問，「暫停訓練比 GPT-4 更強大的 AI 系統(tǒng)」首先會影響的就是 OpenAI 接下來的技術進展。而這對部分署名者而言，并不是一件壞事。

比如馬斯克。

他正在計劃組建自己的 AI 研究實驗室，開發(fā) ChatGPT 的替代品。過去幾個月，馬斯克對 OpenAI 相關信息狂轟亂炸，一會兒強調 AI 安全性的問題，一會兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫，而他作為第一位投資者，什么都沒有得到。

而一個事實是，馬斯克當初退出 OpenAI，是因為特斯拉在 AI 領域的研究與當時還是開源非盈利組織的 OpenAI 的想法背道而馳。

「我仍然很困惑，一個我捐贈了 1 億美元的非營利組織是如何變成一個市值 300 億美元的營利性組織的?！?/span>

另一個位于前列的署名者是 Stability AI 的創(chuàng)始人 Emad Mostaque。

他在去年的采訪中曾表示，未來模型會實現(xiàn)在視覺和語言等不同模態(tài)之間的信息流通，到那時候，人們說話時就可以制作出精美的 PPT，這已經被微軟實現(xiàn)。Open AI 的發(fā)展速度也給他帶來了某種慌亂。ChatGPT 讓人工智能行業(yè)的競爭加劇，他曾給員工發(fā)短信:「你們都會在 2023 年死去。」

一直跟 LeCun 對戰(zhàn)的計算機科學家 Gary Marcus 也參與了簽名，但這次他的態(tài)度有所不同。

紐約大學教授 Gary Marcus（蓋瑞·馬庫斯）一直是深度學習和大預言模型的反對者，他認為依靠海量數(shù)據(jù)來喂食大模型雖然會繼續(xù)發(fā)展，但永遠無法達到通用 AI 所需要的能力。在他看來，目前的通用 AI 的研發(fā)是一條死路。

他在之前與 LeCun 的關于人工智能的爭論廣為人知，Marcus 在 2022 年公開表示「深度學習撞墻了」，引來了深度學習三巨頭中 Hinton 和 LeCun 的反駁。

不過這一次，他雖然簽名了，卻在自己的 Substack 上表示，他擔心的不是 LLM 變成真正的通用人工智能的風險，而是現(xiàn)在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來的風險。

還有暢銷書作家，《人類簡史》《未來簡史》的作者尤瓦爾·赫拉利。

他一直在關注 AI 發(fā)展的臨界點何時到來。在 2021 年嘗試了 GPT-3 之后，就對 AI 智能的影響有所警醒，他曾在《人類簡史》出版十周年之際寫到，「很快，人工智能就能比我們更近了解我們自己。它是會繼續(xù)做我們手中的工具，還是我們會成為它的工具呢？」

幾天前，他剛剛在《紐約時報》發(fā)表文章，《你可以吃藍藥丸或紅藥丸，但是我們快沒有藍藥丸了》。

文章中討論了人工智能對人類的威脅，特別是 ChatGPT。他認為，ChatGPT 可能會被用來制造虛假信息、操縱人們的情感和行為、甚至取代人類的創(chuàng)造力和智慧。他呼吁人類采取措施，保護自己免受人工智能的侵害，同時利用它的優(yōu)勢。他建議人類升級自己的教育、政治和倫理制度，以適應人工智能的世界，并學會掌控人工智能，而不是被它掌控。

聲明全文

以下為 ChatGPT 翻譯版本，經人工編輯初校。

人類智能競爭型的 AI 系統(tǒng)可能會對社會和人類構成深刻的風險，這已經得到廣泛的研究和頂級 AI 實驗室的承認。如阿西洛馬人工智能原則所述，先進的 AI 可能代表著地球生命歷史的深刻變革，應該通過相應的謹慎和資源規(guī)劃和管理。但是，即使最近幾個月 AI 實驗室陷入了一場失控的競賽，試圖開發(fā)和部署越來越強大的數(shù)字智能，甚至連他們的創(chuàng)造者都無法理解、預測或可靠地控制的智能，但我們并沒有看到此類規(guī)劃和管理的出現(xiàn)。

現(xiàn)代 AI 系統(tǒng)正在成為一般任務中具有人類競爭力的系統(tǒng)，我們必須問我們自己：我們是否應讓機器用宣傳和不實言論淹沒我們的信息渠道？我們是否應該自動化所有的工作，包括那些充實的工作？我們是否應該開發(fā)非人類的頭腦，最終比我們更多、更聰明，更過時、更能替代我們？我們是否應該冒失失去對我們文明的控制？這些決定不應該被委托給非民選的技術領導人。只有當我們確信它們的影響將是積極的，它們的風險將是可管理的時候，才應該開發(fā)強大的 AI 系統(tǒng)。這種信心必須得到很好的證明，并隨著一個系統(tǒng)潛在影響的大小而增加。OpenAI 最近在關于人工通用智能的聲明中指出，「在某個時刻，可能有必要在開始訓練未來的系統(tǒng)之前進行獨立審查，并對創(chuàng)建新模型所使用的計算速度進行限制」。我們同意?，F(xiàn)在就是那個時候。

因此，我們呼吁所有 AI 實驗室立即暫停訓練比 GPT-4 更強大的 AI 系統(tǒng)，至少暫停 6 個月。暫停應該是公開和可驗證的，包括所有關鍵角色。如果不能迅速實施這樣的暫停，政府應該介入并實施停止令。

AI 實驗室和獨立專家應該利用這個暫停，共同開發(fā)和實施一套共享的安全協(xié)議，用獨立的外部專家嚴格審核和監(jiān)督。這些協(xié)議應確保符合它們的系統(tǒng)是安全的，超越了合理懷疑的范圍。這并不意味著 AI 開發(fā)的總體暫停，而僅僅是從危險的競賽中暫停，邁向更精確、更安全、更可解釋、更透明、更強大、更可靠和更忠誠的現(xiàn)有先進系統(tǒng)。

與此同時，AI 開發(fā)者必須與決策者合作，大大加速健全 AI 治理體系的發(fā)展。這至少應包括：新的、有能力的針對 AI 的監(jiān)管機構，對高度能力的 AI 系統(tǒng)和大量計算能力進行監(jiān)視和跟蹤的機構；可以幫助區(qū)分真實和合成并追蹤模型泄漏的來源和水印系統(tǒng)；健全的審計和認證生態(tài)系統(tǒng)；對由 AI 造成的傷害負責的責任制；強有力的公共資金支持技術 AI 安全研究；以及處理對民主產生巨大經濟和政治破壞的機構。

人類可以享有 AI 帶來的繁榮未來。我們已經成功創(chuàng)造出強大的 AI 系統(tǒng)，現(xiàn)在我們可以收獲回報，把這些系統(tǒng)設計為真正有益于所有人的系統(tǒng)，并給社會一個適應的機會。社會已經在其他可能對社會產生災難性影響的技術上暫停了。在這里我們也能這樣做。讓我們享受長長的 AI 夏季，不要冒失地進入秋季。

極客一問

你認為有必要叫停 AI 研究嗎？