把視野縮小到“要像OpenAI那樣”是很危險(xiǎn)的，你完全可以從OpenAI中得到啟發(fā)，走得更遠(yuǎn)，走得更不同。

作者｜甲小姐 劉楊楠

編輯｜王博

“這是計(jì)劃的一部分。”

這是《三體Ⅱ：黑暗森林》中，面壁者為了掩飾自己的真實(shí)計(jì)劃而對外說的一句話。無論面壁者做的事情有多么荒唐，都可以被解讀為“這是計(jì)劃的一部分”。人們愿意相信“瞞過智子，對抗三體人”的偉大壯舉是可以被計(jì)劃的。

在約定俗成的社會理念中，每開始一項(xiàng)工作，人們總是習(xí)慣性地“確立目標(biāo)-制定計(jì)劃-執(zhí)行計(jì)劃-完成目標(biāo)”。這套流程意味著明確的方向和有效的結(jié)果。

但是，做好計(jì)劃真的是“萬靈藥”嗎？

來自O(shè)penAI的科學(xué)家肯尼斯·斯坦利（Kenneth Stanley）和喬爾·雷曼（Joel Lehman）并不這么認(rèn)為，他們提出了一個(gè)觀點(diǎn)：真正的偉大無法在計(jì)劃中誕生，并根據(jù)這個(gè)觀點(diǎn)寫作了一本書——《為什么偉大不能被計(jì)劃》。

在兩位科學(xué)家看來，決定某一技術(shù)領(lǐng)域能否出現(xiàn)偉大突破的“踏腳石”，很大程度來自于另一個(gè)看似毫不相干的領(lǐng)域。

回顧歷史，萊特兄弟發(fā)明飛機(jī)，最早用的是自行車技術(shù)（自行車就是飛機(jī)的“踏腳石”）；微波技術(shù)本來是用于驅(qū)動雷達(dá)磁控管的一個(gè)部件，意外成就了微波爐；世界上第一臺計(jì)算機(jī)是用真空電子管制造的，但真空管的歷史與計(jì)算機(jī)毫無關(guān)系；如今被人工智能企業(yè)搶破頭的GPU，最初只在游戲領(lǐng)域大放異彩；電子產(chǎn)品的普及帶火了鋰電池，而鋰電池后來成為了點(diǎn)燃新能源汽車產(chǎn)業(yè)的第一把火。

作為OpenAI最偉大的產(chǎn)品之一，ChatGPT當(dāng)初并不是其計(jì)劃中的產(chǎn)物，但ChatGPT橫空出世，直接顛覆了移動互聯(lián)網(wǎng)時(shí)代的人機(jī)交互方式，也讓人們開始重新審視，在即將到來的通用人工智能時(shí)代，人與機(jī)器誰才是世界的主宰。

成功的標(biāo)準(zhǔn)往往具有一定欺騙性，它可能會阻礙人們發(fā)掘必不可少的“踏腳石”，這些“踏腳石”一起挑戰(zhàn)著人類社會一直以來對于目標(biāo)和計(jì)劃的“盲目崇拜”。

兩位科學(xué)家認(rèn)為，過于宏大的計(jì)劃有時(shí)也會成為“枷鎖”，偏離計(jì)劃航線之外、無法服務(wù)于最終目標(biāo)的探索將被認(rèn)為是一種無用的浪費(fèi)，而這種“目標(biāo)驅(qū)動”的價(jià)值導(dǎo)向最終很可能將“偉大的創(chuàng)新”扼殺在搖籃里。

這個(gè)有些出位的觀點(diǎn)，來自兩位科學(xué)家的一個(gè)“看似不起眼，但十分有趣”的研究項(xiàng)目。作為OpenAI的科學(xué)家，肯尼斯·斯坦利和喬爾·雷曼一直致力于人工智能和機(jī)器學(xué)習(xí)的研究，見證了OpenAI和ChatGPT一路的成長，并不斷反思這段歷程帶來的哲學(xué)性啟發(fā)，最終落筆成書。

本文，甲小姐深度對話肯尼斯·斯坦利和喬爾·雷曼，試圖與他們共同探尋“為什么偉大不能被計(jì)劃”這一核心觀點(diǎn)背后的底層邏輯。

1.談計(jì)劃：“幾乎沒有任何偉大的事物是通過規(guī)劃而成功的”

甲小姐：OpenAI連續(xù)七年堅(jiān)持GPT路線，并以實(shí)現(xiàn)AGI為愿景，最終打造出ChatGPT。你們寫的這本書的名字是《為什么偉大不能被計(jì)劃》，你們認(rèn)為OpenAI“偉大”嗎？ChatGPT是“計(jì)劃”的產(chǎn)物嗎？

喬爾·雷曼：OpenAI做了很多了不起的事，但ChatGPT絕對不是OpenAI成立之初的目標(biāo)，許多通往ChatGPT的踏腳石也都沒有把ChatGPT當(dāng)成最終目標(biāo)，比如Transformer架構(gòu)來自谷歌。OpenAI的許多早期探索都與電子游戲、多代理模擬（multi-agent simulations）和機(jī)器人有關(guān)，他們在這些領(lǐng)域廣泛探索并取得了巨大成功。不過，有一條主線貫穿OpenAI研究的始終，即規(guī)模——大型神經(jīng)網(wǎng)絡(luò)、大數(shù)據(jù)、大量算力的重要性，很多人遲遲沒有意識到這一點(diǎn)。但即便如此，ChatGPT的成功，以及它掀起的文化浪潮還是出乎我的意料。

肯尼斯·斯坦利：GPT和ChatGPT是偉大的發(fā)現(xiàn)，它們不是計(jì)劃中的。GPT-3之前，GPT-2并不那么為人所知，它離人類智能還很遙遠(yuǎn)。但有人意識到它很有趣。我們在書中寫道，有時(shí)投資某件看起來很有趣的事情或許是個(gè)好主意，即使你不知道它會帶來什么。結(jié)果是，投資GPT-2帶來了GPT-3，后來又有ChatGPT問世，二者在某種程度上都是計(jì)劃外的。

甲小姐：你們在書中提到：“偉大的成就總是在沒有計(jì)劃、意想不到的地方誕生。沒人會想到電子產(chǎn)品熱銷推動的鋰電池技術(shù)進(jìn)步，最后會成就革新汽車產(chǎn)業(yè)的特斯拉；游戲產(chǎn)業(yè)需求催生的高性能顯卡，會成為未來AI大模型激烈競爭的基礎(chǔ)。”雖然這些不是計(jì)劃的產(chǎn)物，但也需要有關(guān)鍵的公司、關(guān)鍵的人去發(fā)現(xiàn)事物之間的關(guān)系，去發(fā)現(xiàn)踏腳石，從而帶來新的技術(shù)和產(chǎn)品。你們認(rèn)為，這些關(guān)鍵的公司、關(guān)鍵的人有哪些特征？他們與計(jì)劃的關(guān)系是什么？

喬爾·雷曼：鋰電池和GPU本身就是有趣的踏腳石。關(guān)鍵在于，我們是否有能力從這些踏腳石中看到未來的機(jī)會。例如，深度學(xué)習(xí)研究人員認(rèn)識到大規(guī)模并行計(jì)算可以實(shí)現(xiàn)某種特定的大規(guī)模神經(jīng)網(wǎng)絡(luò)。關(guān)鍵公司和關(guān)鍵人物都能夠認(rèn)識到事物的發(fā)展前景，并判斷出從中可能衍生出哪些有趣的新事物。

肯尼斯·斯坦利：真正偉大的成就背后，是有人注意到了一塊新的踏腳石，讓原本非常遙遠(yuǎn)、不太可能發(fā)生的事情突然變成了可能。最先注意到世界變化的人，往往就是成就偉大的人。例如，GPU很早就在顯卡領(lǐng)域出現(xiàn)了，但人工智能領(lǐng)域并未過多關(guān)注GPU，直到人們發(fā)現(xiàn)GPU可以處理神經(jīng)網(wǎng)絡(luò)，才意識到GPU可能是人工智能領(lǐng)域的踏腳石。我們無法計(jì)劃踏腳石何時(shí)出現(xiàn)，但第一個(gè)意識到踏腳石出現(xiàn)的人會得到很多回報(bào)。

甲小姐：不同的科技成果在科技發(fā)展的領(lǐng)域內(nèi)有不同的成長路徑。“偉大不能被計(jì)劃”這句話有沒有局限性或適用范圍？

肯尼斯·斯坦利：如果某件事近在咫尺，做計(jì)劃是有意義的。但當(dāng)我們希望實(shí)現(xiàn)一些宏大的目標(biāo)時(shí)，偉大就無法計(jì)劃了。

比如AGI，我們無法確定通往AGI的踏腳石是什么，因此我們必須不斷探索。請相信，每過一年，就會有更多踏腳石出現(xiàn)，我們就會距離AGI更近一點(diǎn)，只是我們無法提前知道踏腳石是什么。

甲小姐：過去幾十年，中國從國家層面領(lǐng)導(dǎo)了眾多技術(shù)創(chuàng)新項(xiàng)目。其中許多項(xiàng)目都有精確的目標(biāo)導(dǎo)向。例如，上世紀(jì)八十年代啟動的中國國家高技術(shù)研究發(fā)展計(jì)劃，也就是著名的“863計(jì)劃”，就為各個(gè)尖端技術(shù)領(lǐng)域設(shè)計(jì)了發(fā)展藍(lán)圖，極大地推動了中國高新技術(shù)的進(jìn)步，你如何看待這種計(jì)劃帶來的巨大作用？

肯尼斯·斯坦利：“863計(jì)劃”包含很多內(nèi)容，我并不了解全部的歷史，很難評價(jià)。但美國也發(fā)起了許多全國性的倡議，其中包含很多科研計(jì)劃。

人類社會往往只允許人們有目的地說話，所以我們的框架都是帶目標(biāo)的，并以此來概括我們所有的努力。但當(dāng)人們有所發(fā)現(xiàn)時(shí)，他們往往有非目標(biāo)的直覺，只是說“這很有趣”。

這些非常有目標(biāo)指向的大型計(jì)劃，并不總能按照既定的方式實(shí)現(xiàn)。研究者因?yàn)槟硞€(gè)項(xiàng)目得到了資助后，可能還是會做出非目標(biāo)的決定，并最終對社會產(chǎn)生積極影響。一般來說，這類資助項(xiàng)目往往是事后在目標(biāo)導(dǎo)向的意義上被定義為成功。這很不幸！再次強(qiáng)調(diào)，這不是對某個(gè)項(xiàng)目的批判。

某種程度上，一個(gè)鼓勵創(chuàng)新的社會，制定一些不那么目標(biāo)導(dǎo)向的計(jì)劃可能更有意義。實(shí)際上，資助方付錢給研究者是為了開辟新領(lǐng)域，不是為了實(shí)現(xiàn)某個(gè)特定的最終目標(biāo)。這個(gè)過程有很多可能性，但問題是，目標(biāo)驅(qū)動型研究得到了大量的資金，而那些目的性不強(qiáng)的研究幾乎沒有資金。這個(gè)問題需要全球科技界思考。

甲小姐：中國的“兩彈一星”很偉大，是計(jì)劃的產(chǎn)物；美國的“信息高速公路”很偉大，也是計(jì)劃的產(chǎn)物；埃隆·馬斯克給我們帶來了很多偉大的創(chuàng)新，有些是未經(jīng)計(jì)劃的，但很多也是計(jì)劃的產(chǎn)物，比如SpaceX、儲能超級工廠……我們可以各自列舉出“計(jì)劃帶來的偉大”“計(jì)劃導(dǎo)致的失敗”“不被計(jì)劃帶來的偉大”“不被計(jì)劃導(dǎo)致的失敗”這四方面的案例。案例可以證明觀點(diǎn)，但案例也會以偏概全。比起觀點(diǎn)之爭，我更想知道，你提出“偉大不能被計(jì)劃”更深層次的邏輯是什么？

肯尼斯·斯坦利：你提出的“很多事情都是目標(biāo)導(dǎo)向”這一觀點(diǎn)，我有不同的解釋。我認(rèn)為埃隆·馬斯克和特斯拉并不是目標(biāo)驅(qū)動的結(jié)果。埃隆首先意識到，大規(guī)模量產(chǎn)的鋰電池是一塊踏腳石——這不是規(guī)劃而來的。此后，計(jì)劃就變得可行了。

如果你只差一步之遙，制定計(jì)劃確實(shí)很有意義。你不可能在20世紀(jì)50年代計(jì)劃要登上月球。我們可以真正實(shí)現(xiàn)登月目標(biāo)，是因?yàn)樘つ_石已經(jīng)鋪好，而在100年前制定計(jì)劃是毫無意義的。因此，我更傾向于一種激進(jìn)的觀點(diǎn)，即幾乎沒有任何偉大的事物是通過規(guī)劃而成功的。

甲小姐：既然所有案例都如此復(fù)雜，你如何避免從這些故事中得出誤導(dǎo)性結(jié)論？

喬爾·雷曼：所有最偉大的發(fā)明都不會來自于大規(guī)模的發(fā)明浪潮中，就像你不可能直接從火堆里找到筆記本電腦一樣。有些事情可以通過計(jì)劃來實(shí)現(xiàn)，有些卻不能。

目標(biāo)驅(qū)動型工作很容易爭取資金，也很容易在文化和社會上獲得關(guān)注，相比之下，我們沒那么尊重非目標(biāo)驅(qū)動的任務(wù)。對我來說，最重要的部分是隨著時(shí)間推移展開的探索過程，它將我們引向一個(gè)非常奇妙的地方。

甲小姐：很多人都知道OKR、KPI，這些計(jì)劃可能跟你們書中提到的計(jì)劃含義不太一樣，卻是我們在日常工作中離不開的。你們在OpenAI有工作計(jì)劃嗎？方便問問你們的OKR或KPI是什么嗎？

肯尼斯·斯坦利：我不想特別評論OpenAI。整個(gè)硅谷都有OKR和KPI，包括研究實(shí)驗(yàn)室。我認(rèn)為至少在研究或創(chuàng)新領(lǐng)域，在公司的某些創(chuàng)新部門，OKR和KPI是一個(gè)錯(cuò)誤。

通過OKR來指導(dǎo)研究實(shí)驗(yàn)室只會適得其反，誤入歧途，因?yàn)楹芏鄷r(shí)候，那些真正能帶來重大發(fā)現(xiàn)的事情看起來并不像所謂的“重大發(fā)現(xiàn)”。因此，你的KPI可能會誤導(dǎo)你走入死胡同，或者做一些無關(guān)痛癢的事。我們需要另一種制度，承認(rèn)趣味性是可以追求的實(shí)際具體事物，比如“為了有趣而追求趣味性”。

實(shí)際上，我已經(jīng)嘗試在我的新公司建立這樣一個(gè)新體系。當(dāng)時(shí)我的聯(lián)合創(chuàng)始人提出要制定OKR，被我攔下了。公司不能有OKR，這對創(chuàng)新不是很友好。我試著想出了一個(gè)替代體系，細(xì)節(jié)我就不多說了。但在公司的其他方面，規(guī)劃是有意義的，比如規(guī)劃下一年的預(yù)算，升級公司的主服務(wù)器群等都可以設(shè)定為目標(biāo)。我并不主張完全擺脫OKR和KPI，只是對于專注于創(chuàng)新的公司內(nèi)部，擺脫這些確實(shí)是有意義的。

喬爾·雷曼：我完全同意肯尼斯的觀點(diǎn)。在研究領(lǐng)域，幾乎所有的OKR、KPI都有些奇怪的地方，比如“在世界級會議上發(fā)表3篇論文”——這只會激勵研究者去參與論文比賽，而不會真正去做變革性的科學(xué)研究。

2.談范式：“當(dāng)每個(gè)人都在扎堆時(shí)，要想辦法與眾不同”

甲小姐：OpenAI似乎已經(jīng)成為行業(yè)的指南針。我們采訪了很多中國人工智能從業(yè)者，有人說要用OpenAI實(shí)踐來驗(yàn)證自己的創(chuàng)新想法，還有人提出了超越ChatGPT的目標(biāo)。這種想法是否有利于中國人工智能產(chǎn)業(yè)的發(fā)展？

喬爾·雷曼：這個(gè)問題很微妙。從目前行之有效的最佳實(shí)踐中汲取靈感，對訓(xùn)練大規(guī)模語言模型是非常有意義的。但如果總是在和其他人相同的范式下工作，你的目標(biāo)是什么？

OpenAI開創(chuàng)的范式不一定會無限期存在，他們也無法保證是否會出現(xiàn)其他范式。把視野縮小到“要像OpenAI那樣”是很危險(xiǎn)的，你完全可以從OpenAI中得到啟發(fā)，走得更遠(yuǎn)，走得更不同。

甲小姐：現(xiàn)在的確有點(diǎn)缺乏多樣性，所有人都在討論ChatGPT。

喬爾·雷曼：這有些危險(xiǎn)，幾乎是一種悲劇。下一件擊敗ChatGPT的事情可能完全不同，它可能來自不同的架構(gòu)，可能是聊天機(jī)器人之外的其他有趣應(yīng)用。

人類的天性就是喜歡扎堆。當(dāng)每個(gè)人都在扎堆時(shí)，要想辦法與眾不同。這通常很難做到。

社會要有空間來孵化不同算法、不同方法、不同思維方式。你看楊立昆（Yann LeCun）研究卷積神經(jīng)網(wǎng)絡(luò)初期，他甚至還默默無聞地苦苦掙扎了一段時(shí)間，并沒有得到太多資助。但如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣為人知，它作為一個(gè)踏腳石的作用非常強(qiáng)大，還將繼續(xù)發(fā)揮巨大作用。在人工智能領(lǐng)域，其他研究人員或許正在點(diǎn)亮其他踏腳石。

甲小姐：你們在書中還提到了“定理派啟發(fā)式方法”和“實(shí)驗(yàn)派啟發(fā)式方法”兩類人工智能研究方法論。回看整個(gè)人工智能研究歷程，從符號主義到連接主義再到行為主義，人工智能研究似乎是一個(gè)從“定理派啟發(fā)式方法”不斷向“實(shí)驗(yàn)派啟發(fā)式方法”轉(zhuǎn)變的過程，即研究者對人工智能算法的嚴(yán)密論證越來越少，越來越像做化學(xué)實(shí)驗(yàn)一樣，以最終性能為導(dǎo)向反向調(diào)整算法，算法的黑盒效應(yīng)越發(fā)嚴(yán)重。為什么會有這種變化？

肯尼斯·斯坦利：我們在書中對兩種方式都進(jìn)行了批判，認(rèn)為兩者都有缺陷。從歷史上看，隨著神經(jīng)網(wǎng)絡(luò)越來越占據(jù)主導(dǎo)，實(shí)驗(yàn)派啟發(fā)式方法也更加普遍。神經(jīng)網(wǎng)絡(luò)很難進(jìn)行理論分析，但人們?nèi)匀粚碚摻Y(jié)果感興趣。

神經(jīng)網(wǎng)絡(luò)有點(diǎn)像生物有機(jī)體，它們知道自己要做什么。你無法提前計(jì)算出結(jié)果，也無法預(yù)測會發(fā)生什么。你必須訓(xùn)練它，然后找出答案。從理論上講，對神經(jīng)網(wǎng)絡(luò)進(jìn)行的行為預(yù)測是不可證明的，它只能基于某種假設(shè)設(shè)定。

任何一種方法，都無法保證我們處在一個(gè)有趣的踏腳石上。如果在某個(gè)特定實(shí)驗(yàn)中，方法A的效果不如方法B，并不一定意味著方法A就不是通往AGI的黃金門票。好比現(xiàn)在你要和一個(gè)3歲小孩比考試成績，你當(dāng)然比他好很多。但那個(gè)3歲的孩子也許會在五十年后成為歷史上最偉大的天才之一。

我們倡導(dǎo)一種更為困難的范式轉(zhuǎn)變，不依靠理論或?qū)嶒?yàn)，而是論證“何為有趣”。不過，只是因?yàn)橛腥ぞ腿プ瞿臣潞茈y融入社會。

甲小姐：有些研究人員正在大力推動“可解釋人工智能”和“人工智能與人類對齊”的研究，使人工智能更加安全。這些研究方向是好的踏腳石嗎？

喬爾·雷曼：可解釋人工智能絕對是很好的方向。神經(jīng)科學(xué)的發(fā)展史表明，解讀我們的大腦是相當(dāng)困難的。如果能更多地了解這些模型，了解它們是如何工作的，很可能向我們揭示出一些未知的東西。

此外，有種說法是，“語言模型的很多知識都反映了我們自己的文化和態(tài)度”。但人類社會中，有很多事情都是相互錯(cuò)位的，例如公司和消費(fèi)者對同一產(chǎn)品會有不同理解。我擔(dān)心我們現(xiàn)在的研究視野會過于狹窄，無法提出真正有趣的哲學(xué)問題。

3.談爭議：“當(dāng)事情真的很危險(xiǎn)時(shí)，偉大不再重要”

甲小姐：目前全球?qū)PT系列模型的認(rèn)識是否存在誤區(qū)？

喬爾·雷曼：肯定會有誤解。我時(shí)常想我們現(xiàn)在最應(yīng)該談?wù)摰氖鞘裁矗繌腉PT到GPT-2，再到GPT-3，看似呈現(xiàn)一種線性路徑，但GPT-2到GPT-3的跳躍仍然需要一些膽識和遠(yuǎn)見。

肯尼斯·斯坦利：現(xiàn)在每個(gè)陣營都有強(qiáng)烈的觀點(diǎn)。有的陣營認(rèn)為，我們離人類水平的AGI只有一步之遙；另一個(gè)陣營則認(rèn)為我們很快就會碰壁，整個(gè)范式都有缺陷，大模型可能永遠(yuǎn)無法擺脫幻覺的困擾。

每個(gè)陣營都很確信自己知道未來會發(fā)生什么，這正是最大的誤解。事實(shí)上，我們根本不知道未來會發(fā)生什么。正因?yàn)檫€有很多我們不知道的東西，AGI才更加有趣。 如果我們能更好地理解這些未知的部分，它們就能告訴我們什么是真正的智慧。因此，我們需要不斷探索未知。如果每個(gè)人都確信我們了解很多，即使彼此意見相左，也很難展開討論。

甲小姐：近期，全球?qū)?gòu)建開源系統(tǒng)的熱情高漲。有人認(rèn)為，開源更有利于生態(tài)繁榮。反之，也有人認(rèn)為閉源更便于體系創(chuàng)新，更考驗(yàn)企業(yè)的綜合能力。你認(rèn)為開源和閉源生態(tài)在未來的人工智能生態(tài)中扮演著怎樣的角色？

喬爾·雷曼：開源模型確實(shí)能鼓勵更多的研究人員去嘗試，去改變，去測試真正激進(jìn)的想法，并且有機(jī)會接觸到開源模型實(shí)際的內(nèi)部結(jié)構(gòu)。但如果你不在OpenAI工作，你就無法真正接觸到激活的程序，也就無法以新的、不同的方式對其進(jìn)行微調(diào)。所以可以預(yù)見的是，這將導(dǎo)致生態(tài)系統(tǒng)中的創(chuàng)新減少。例如，圍繞開源圖像模型stable diffusion會有大量有趣的新模型出現(xiàn)，但從生態(tài)的角度看，這似乎只擴(kuò)大了模型生態(tài)。

從賺錢的角度看，如果你在訓(xùn)練最大的模型，就需要重塑你所做的投資。所以閉源模型的出現(xiàn)也合情合理。我想在不久的將來，開放式的模型會更小一些，能力更弱一些，而閉源模型的規(guī)模會更大，并且更便利。

使用閉源模型，有人會為你托管，并負(fù)責(zé)所有細(xì)節(jié)。你也會在閉源模型領(lǐng)域看到很多有趣的創(chuàng)新，比如很多很酷、很有趣的使用語言模型推理的方法。但你只是在推動模型的發(fā)展，你可以探索的范圍有限。

現(xiàn)在有很多有趣的東西，比如所謂的BabyAGI，這些實(shí)驗(yàn)讓人工智能有能力去瀏覽設(shè)備，從而變得更加自主；還有很多公眾科學(xué)類的東西，也很吸引人。因此，這其中有不同的權(quán)衡。但我確實(shí)認(rèn)為，開源會帶來更多發(fā)現(xiàn)，讓人們能夠玩轉(zhuǎn)各種東西。

甲小姐：你們在書中提到：“我們不得不面對這樣一個(gè)令人不安的事實(shí)，即我們無法確定任何經(jīng)驗(yàn)法則能否成為追求實(shí)現(xiàn)人工智能目標(biāo)的可靠指南。”這種不安幾乎是當(dāng)前社會各界對人工智能研究的普遍情緒，在你們的感知中，這種不安從什么時(shí)候開始？從技術(shù)本身出發(fā)，像兩位一樣的AI研究人員現(xiàn)在能做哪些事來化解這種不安？

肯尼斯·斯坦利：這種不安或許不需要化解，它是目標(biāo)問題的一部分。每個(gè)人都想定義一個(gè)目標(biāo)，知道你的目標(biāo)是什么，并根據(jù)目標(biāo)來衡量你，這就造成新的不安。但這是一種誤導(dǎo)，因?yàn)槭澜绮⒉皇沁@樣運(yùn)轉(zhuǎn)的。僅僅是性能指標(biāo)在上升，并不意味著你真的在朝著目標(biāo)前進(jìn)。因?yàn)檫@個(gè)世界非常具有欺騙性，我們應(yīng)該做的是認(rèn)識到這個(gè)世界的實(shí)際運(yùn)作方式。

我們也許可以享受這種不安，它來自于一種不確定性。我們確實(shí)不了解很多事物，我們不知道路在何方，但這意味著有很多有趣的事情需要探索。我們?nèi)狈@種探索，而我們最不了解的地方才是最有趣的地方，這就是我們的方向。

歸根結(jié)底，我們必須認(rèn)識到，在我們非常非常接近結(jié)果之前，我們都會有這種不安。也許有一天，我們會離終點(diǎn)很近，真正實(shí)現(xiàn)了人工智能，我們的不安就會開始消失，我們會發(fā)現(xiàn)我們就快成功了。當(dāng)然，我們還會有其他的不安，擔(dān)心實(shí)現(xiàn)人工智能會產(chǎn)生什么影響，但對正確方向的不安會消失。但我們還沒到那一步。我們?nèi)蕴幱诓淮_定的階段，這是完全健康的。我們應(yīng)該加倍努力探索未知，而非投資于目前熟悉的事物。

甲小姐：山姆·阿爾特曼（Sam Altman）一直在努力呼吁各國建立人工智能安全系統(tǒng)。你們認(rèn)為人工智能需要盡早限制嗎？

喬爾·雷曼：這是一個(gè)很深奧的問題。我和肯尼斯的觀點(diǎn)可能會有些分歧，我更警惕一些。我最擔(dān)心的是一些深層的人工智能安全問題。我有很多不確定的問題，比如，如果我們創(chuàng)造了比我們更聰明的東西，這意味著什么？

我們在書中也提到了一個(gè)問題，那就是開放式創(chuàng)新與偉大成就之間的矛盾，及其可能帶來的風(fēng)險(xiǎn)。例如開放式創(chuàng)新創(chuàng)造了核武器，卻也創(chuàng)造了可能帶來世界末日的幽靈。因此在某些時(shí)候，我仍然會對人工智能感到不安。我不清楚。這個(gè)問題可能真的沒有答案。

肯尼斯·斯坦利：我補(bǔ)充一個(gè)有趣的問題：不限制會不會更安全？

我同意喬爾的觀點(diǎn)，我們應(yīng)該關(guān)注人工智能對人類社會的影響。但一個(gè)復(fù)雜的問題是，讓人工智能發(fā)展得更好可能會更安全。

導(dǎo)致人工智能安全焦慮的部分原因可能是，它缺乏自省能力、溝通能力、自律能力，無法以人類信任的方式向人類解釋它在做什么以及為什么要這么做。但如果人工智能進(jìn)步了，變得更先進(jìn)了，也許它們就能更好地解釋自己，讓我們信服，從而信任它們。如果我們說：“我們不能做這種事，太危險(xiǎn)了”， 這實(shí)際上會降低他們的可信度。這是自相矛盾的。我不知道該如何解決這個(gè)問題，但這是一個(gè)值得認(rèn)真考慮的問題。不過盡管如此，我確實(shí)認(rèn)為人工智能需要一些約束，但我真的不清楚答案是什么。

甲小姐：成就了OpenAI的方法論也可能會造成它的問題，比如如今的阿爾特曼似乎變成了一位“政治商人”，他在積極和全球政治家溝通，尋求并探索AI的監(jiān)管治理。“不被計(jì)劃帶來的偉大”，是不是有可能“在計(jì)劃中式微”？

喬爾·雷曼：是的。我承認(rèn)一些監(jiān)管可能有用，法律的出臺肯定會對人工智能的研究和發(fā)展產(chǎn)生積極的影響。但是，制定法律是困難的。我希望人工智能技術(shù)的監(jiān)管政策背后能有一些理智的程序。

肯尼斯·斯坦利：當(dāng)事情真的很危險(xiǎn)時(shí)，偉大不再重要。在某些時(shí)候，技術(shù)可能越過了一條與偉大無關(guān)的線。例如，在經(jīng)濟(jì)領(lǐng)域，你會看到政府往往相當(dāng)保守，但如果我們愿意，我們也可以徹底改革整個(gè)經(jīng)濟(jì)體系，并嘗試一些不同的東西。即使它可能很有趣，但我們不會那樣做，因?yàn)檫@樣太危險(xiǎn)了，數(shù)百萬人可能會挨餓或更糟。

現(xiàn)在人工智能可能還沒有到這個(gè)水平，可以想象，當(dāng)探索人工智能的風(fēng)險(xiǎn)不抵收益，它可能就不值得再探索。但問題是，我不知道人工智能什么時(shí)候會越界。很多事情不總是關(guān)于“偉大”，有時(shí)你只是試圖保守地保證事情的安全。

甲小姐：杰弗里·辛頓（Geoffrey Hinton）等學(xué)者認(rèn)為，世界上還沒有過智力較低的物種控制智力較高的物種的先例，由此假設(shè)，如果有一天人工智能的智力超過人類，人類很可能會被滅絕。你們?nèi)绾慰创磥韽?qiáng)人工智能和人類的關(guān)系？

喬爾·雷曼：就在幾年前，談?wù)撨@個(gè)話題還像是科幻小說。在一個(gè)特定領(lǐng)域?qū)崿F(xiàn)最具變革性的宏偉目標(biāo)，對人類文明來說可能是有風(fēng)險(xiǎn)的。如果我們真的創(chuàng)造了比我們聰明得多的東西，它之于我們，就像我們之于螞蟻一樣。哲學(xué)上的爭論還在發(fā)展中。從經(jīng)驗(yàn)上看，人工智能安全領(lǐng)域的工作肯定是要讓這些模型更加一致。這很好，但人類從未考慮過這一門檻，如果真的到了那一天，我們要非常謹(jǐn)慎。

肯尼斯·斯坦利：智慧是多維的，有不止一個(gè)組成部分。人工智能是否能在所有維度上都更加智能？我并不確定。

智能在某些方面的成就可能會有一些內(nèi)在的限制，比如有效溝通的能力到了一定程度就不能再有效了。智力需要通過實(shí)驗(yàn)來了解世界，沒有與世界的實(shí)際互動，你就無法掌握智力。因此，如果我們限制了人工智能接觸外部世界的能力，它就不能成為主宰，因?yàn)樗孟駴]有能力做那些實(shí)驗(yàn)。也許有某種武器可以用來完全統(tǒng)治地球，但制造這種武器肯定需要大量的物理實(shí)驗(yàn)。如果這個(gè)東西無法接觸到真實(shí)的物理世界，它究竟是如何研制出這種武器的呢？

這是一個(gè)非常多方面的問題。讓它超越我們，接管我們的生活或類似的事情可能沒那么容易。但這樣的情況仍然非常危險(xiǎn)。它需要受到制約。

4.談競爭：“競爭會在某種意義上耗盡創(chuàng)新”

甲小姐：在這輪人工智能熱潮中，谷歌、Meta、微軟以及中國各大科技巨頭之間已經(jīng)形成了競爭關(guān)系，甚至有媒體曝出在OpenAI和微軟之間也存在暗箱競爭。但也有觀點(diǎn)認(rèn)為，良性競爭能夠進(jìn)一步刺激創(chuàng)新。你是否認(rèn)同這種觀點(diǎn)？你認(rèn)為當(dāng)前的全球競爭格局是良性的嗎？

肯尼斯·斯坦利：競爭會導(dǎo)致趨同，促進(jìn)局部最優(yōu)。競爭會在某種意義上耗盡創(chuàng)新。如果你把它看成是一場軍備競賽，你就必須贏。你承受著巨大的壓力，承擔(dān)不起風(fēng)險(xiǎn)，這種情況下，你需要做出保守的選擇。你會被迅速推向把“武器”越造越大、越造越多的方向，而沒有時(shí)間去考慮其他可能性。

當(dāng)你減輕競爭壓力時(shí)，就可以嘗試一些有趣的東西，這些有趣的事情會帶來真正激進(jìn)的創(chuàng)新。

目前人工智能領(lǐng)域每個(gè)人都在向大型語言模型靠攏，在此之前，人工智能領(lǐng)域還有很多其他想法。現(xiàn)在，語言模型獲得了99%的資金，而其它路線只獲得差不多1%的資金。

如果我們真的快到了整個(gè)游戲的終點(diǎn)，這也許是好事。但如果我們沒有快到終點(diǎn)，就會導(dǎo)致趨同。這是肯定的，他們會縮減開支。我們必須后退，遠(yuǎn)離競爭對手，一切才會放松下來。但現(xiàn)在，我們被鎖定在這樣的競爭中。所以我預(yù)測短期內(nèi)創(chuàng)新會越來越少。

甲小姐：你們認(rèn)為中國在未來全球人工智能發(fā)展進(jìn)程中會扮演什么角色？

喬爾·雷曼：我對中國的研究還不是很了解，但確定的是，中國的人工智能研究在影響力和資金方面都在不斷增長。

一個(gè)懸而未決的問題是，人工智能領(lǐng)域的下一個(gè)重大變革性技術(shù)是來自中國還是美國？傳統(tǒng)的觀點(diǎn)可能是來自美國，但這是一個(gè)有趣的開放性問題。我原以為美國讀者會更加認(rèn)同我們這本書的內(nèi)容，但這本書在中國似乎也很受歡迎。中國對開放式創(chuàng)新相關(guān)內(nèi)容的興趣，很可能會影響到他們之后進(jìn)行更多元的變革性研究。

肯尼斯·斯坦利：有一點(diǎn)很清楚，那就是中國有足夠的資源做大事。中國對大型語言模型和AGI的癡迷也意味著他們有意愿發(fā)展人工智能。很難說人工智能研究是否有真正的贏家，無論中國還是其他國家，他們都為人工智能研究整體進(jìn)步的多樣性做出了貢獻(xiàn)。未來可能會有一個(gè)國家率先實(shí)現(xiàn)了通用人工智能，但沒人知道究竟是誰。現(xiàn)在可能會有人說是OpenAI，但客觀上看似領(lǐng)先的東西并不意味著它就是正確的踏腳石。

中國有很大的人口優(yōu)勢，有足夠多的人去嘗試各種東西。因此，我預(yù)計(jì)中國會有非常有趣的創(chuàng)新。現(xiàn)在中國肯定是走在前列的，而且有機(jī)會。如果中國只是一味地追趕OpenAI，中國就很難做其他更有趣的嘗試。人工智能領(lǐng)域的下一件大事是與眾不同的，而不是OpenAI，這才是資源應(yīng)該去的地方。

5.談創(chuàng)新：“嘗試一些跳出當(dāng)前主流范式的創(chuàng)新”

甲小姐：如果偉大的締造者們沒有計(jì)劃，只是在埋頭做事，他們?nèi)绾我庾R到一些細(xì)枝末節(jié)中可能會生長出偉大的時(shí)刻？

肯尼斯·斯坦利：人們善于發(fā)現(xiàn)有趣的事情。新事物出現(xiàn)時(shí)，我們常討論的機(jī)遇、科學(xué)或投資都是目標(biāo)導(dǎo)向的，但我們應(yīng)該更多討論“趣味性”這個(gè)主觀問題。人類最偉大的才能之一，就是在尚未明確具體方向時(shí)，理解新想法或新事物的有趣之處。因?yàn)橛辛诵孪敕ɑ蛐率挛铮澜绮庞辛巳碌囊曇昂蜋C(jī)遇。

人們往往善于在自己的專業(yè)領(lǐng)域內(nèi)發(fā)現(xiàn)有趣的踏腳石。在某個(gè)領(lǐng)域經(jīng)驗(yàn)豐富的人，對新事物是否有趣的直覺和感覺真的很重要。當(dāng)然，“專家一定知道什么是有趣的”這種觀點(diǎn)不一定正確，但專家至少能夠和你討論為什么這個(gè)問題很有趣。

甲小姐：“有趣”是成就“偉大”的重要前提嗎？

喬爾·雷曼：是的。“趣味性”是一個(gè)很深的話題，不同的人會被不同的有趣事物所吸引。有一種說法是，直覺來自于深厚的專業(yè)知識，來自于對可能出現(xiàn)的新事物的深入了解。各個(gè)領(lǐng)域都會有一些有趣的創(chuàng)新，但沒有被完全聯(lián)系起來。有些例子表明，來自某個(gè)領(lǐng)域的有趣事物會啟發(fā)另一個(gè)領(lǐng)域。例如，GPU讓人工智能研究者重新審視神經(jīng)網(wǎng)絡(luò)世界中的基礎(chǔ)假設(shè)。

甲小姐：喬爾，在你過往經(jīng)歷中，有哪些研究方向是你認(rèn)為比較“有趣”，但因?yàn)椤澳繕?biāo)驅(qū)動”的原因而被主流研究方向放棄的？

喬爾·雷曼：這是個(gè)好問題。我一直對邊緣研究方向感興趣，邊緣研究方向模糊不清，他們沒有被完全忽視，但也沒有被完全接受。

我與肯尼斯合作后開始研究開放式創(chuàng)新。當(dāng)時(shí)這個(gè)方向還比較小眾，只活躍在一個(gè)很酷但并不為人所知的社區(qū)——“人工生命”（Artificial Life）。我很驚訝，在我開始研究前，已經(jīng)有人著手研究開放式創(chuàng)新了。

最近，我對機(jī)器學(xué)習(xí)、心理學(xué)以及兩者如何結(jié)合的邊緣研究方向很感興趣，這也是一個(gè)小眾話題。我發(fā)現(xiàn)自己總是試圖論證我所做的事情是有意義的，希望歷史能證明這個(gè)研究方向的價(jià)值，也希望這個(gè)方向能夠得到越來越多的支持，讓我們拭目以待吧。

甲小姐：我有很多學(xué)術(shù)界的朋友也會遇到類似情況，他們必須向其他人解釋，為什么自己的項(xiàng)目很重要。即使只是一些很小的事情，他們也要在一開始把它變成一個(gè)大目標(biāo)，以目標(biāo)為導(dǎo)向，籌集更多資金，獲得更多支持。這是一個(gè)自我探索的過程。

肯尼斯·斯坦利：我們在書中提到了一個(gè)非常有趣的“圖形孵化器”項(xiàng)目，叫做Picbreeder，它讓我們最初發(fā)現(xiàn)了關(guān)于“目標(biāo)”的悖論。

當(dāng)時(shí)我們想做一個(gè)孵化圖片的網(wǎng)站，很多人都想知道為什么要做一個(gè)這樣的網(wǎng)站。唯一的答案就是，有趣。大量用戶在網(wǎng)站上孵化圖片就會發(fā)生一些有趣的事，但我不知道具體會發(fā)生什么，這給我們的工作帶來了巨大的麻煩。

我們的社會文化是，定一個(gè)宏大的目標(biāo)，完成目標(biāo)才能獲得科學(xué)資助。但我們無法解釋這個(gè)項(xiàng)目的目標(biāo)是什么，完全被困住了。我只能說，這個(gè)網(wǎng)站一定很有趣。我們提交項(xiàng)目撥款申請時(shí)被拒絕了，相關(guān)機(jī)構(gòu)都說不清這個(gè)網(wǎng)站的最終回報(bào)是什么。但我們最終還是無視了那些資助機(jī)構(gòu)，推進(jìn)這個(gè)項(xiàng)目。雖然沒能獲得資金非常遺憾，但這個(gè)項(xiàng)目引發(fā)了我們今天關(guān)于開放式創(chuàng)新的所有討論。

甲小姐：我想如果有可能，每個(gè)人都會很喜歡開放式創(chuàng)新。“開放式創(chuàng)新”需要大量的人力、財(cái)力以及時(shí)間的投入，但有時(shí)出于現(xiàn)實(shí)條件的制約，包括中國在內(nèi)的發(fā)展中國家需要利用有限的資源盡可能創(chuàng)造最大的價(jià)值。這種情況下，合理設(shè)定目標(biāo)似乎成為一個(gè)必然的過程，你認(rèn)同嗎？

喬爾·雷曼：我不同意，但這個(gè)問題很有趣。有一種誤解是，資源有限時(shí)，你可能會把一些資金投向穩(wěn)賺不賠的創(chuàng)新方向，但你依然需要承擔(dān)一些合理風(fēng)險(xiǎn)。但以Picbreeder為例，一些科學(xué)家的發(fā)現(xiàn)有時(shí)會帶來真正巨大的附加值，歷史上也有科學(xué)家跨領(lǐng)域創(chuàng)新的故事，這些科學(xué)家是很好的投資對象。至少在美國有一家投資機(jī)構(gòu)，會專門給創(chuàng)新成果良好的科學(xué)家投資。

甲小姐：你們期待中國未來在哪個(gè)領(lǐng)域產(chǎn)生更多的“開放式創(chuàng)新”？

喬爾·雷曼：這取決于中國的投資方向。現(xiàn)在中國似乎正在大力推動機(jī)器學(xué)習(xí)和人工智能研究。問題在于，這種投資是在什么樣的背景和環(huán)境下進(jìn)行的，是否真的有空間進(jìn)行開放式創(chuàng)新。我更傾向于，嘗試一些跳出當(dāng)前主流范式的創(chuàng)新，比如不局限于“讓GPT性能升級1%”之類的目標(biāo)，去發(fā)現(xiàn)一種新的架構(gòu)，一種新的范式，孵化一些有趣的功能，這樣才能真正實(shí)現(xiàn)開放式創(chuàng)新。

甲小姐：在書中，你們討論了開放式進(jìn)化的潛力。你如何定義開放式進(jìn)化？在人工智能的背景下，它的關(guān)鍵特征是什么？

喬爾·雷曼：開放式進(jìn)化最容易描述，只需指出自然界中的一些例子進(jìn)行推導(dǎo)即可，它是無止境的。比如生物進(jìn)化，地球在數(shù)十億年的時(shí)間里不斷創(chuàng)造出令人驚嘆的東西。人類是進(jìn)化創(chuàng)造出來的，我們自身也成為了開放性創(chuàng)新的引擎，這就是創(chuàng)新的故事。

甲小姐：是什么激發(fā)了你探索進(jìn)化算法中的開放式概念并挑戰(zhàn)設(shè)置特定目標(biāo)的傳統(tǒng)方法？

喬爾·雷曼：這并不是我最初的目標(biāo)。我在本科時(shí)讀過一本書，書中談到了肯尼斯開發(fā)的一種特殊算法。這種增強(qiáng)拓?fù)涞纳窠?jīng)進(jìn)化有點(diǎn)小眾，但真的很酷。這激起了我腦海中的一個(gè)想法：我們的大腦由自然進(jìn)化而來，如果我們在電腦里也這么做呢？受到啟發(fā)后，我申請成為肯尼斯的學(xué)生。我們第一天見面他就向我提出了“新奇性搜索”的想法，這成為了我研究開放式進(jìn)化的突破口，這個(gè)問題歷來鮮有人關(guān)注。

甲小姐：直到今天，很多時(shí)候我們也會強(qiáng)調(diào)科技領(lǐng)域要加強(qiáng)產(chǎn)學(xué)研融合。按照書中的論述，產(chǎn)學(xué)研融合是否會在某種程度上成為創(chuàng)新的桎梏？

喬爾·雷曼：從理論上講，它們可以很好地結(jié)合在一起，即允許有松弛、新穎、有趣的探索空間，這是在為工業(yè)服務(wù)。

但我不確定從本質(zhì)上講，是否必須進(jìn)行產(chǎn)學(xué)研一體化。如果產(chǎn)業(yè)界的激勵機(jī)制大量滲入學(xué)術(shù)界，學(xué)術(shù)界或多或少就會成為產(chǎn)業(yè)界的延伸，而產(chǎn)業(yè)界的競爭壓力可能會比學(xué)術(shù)界更大。

在學(xué)界，深刻的科學(xué)發(fā)現(xiàn)似乎永遠(yuǎn)不會有實(shí)際意義，但日后卻可能對商業(yè)產(chǎn)生巨大的影響。例如公鑰加密技術(shù)催生了電子商務(wù)，但它被發(fā)明的初衷并非如此。現(xiàn)在社會文化上的誘惑和我們寫這本書的原因就在于，我們并不欣賞產(chǎn)學(xué)研融合的方式。科學(xué)是一只能下金蛋的鵝，我們不想殺死它，我們想努力保護(hù)它。