「不，」皮特說，「不太明白。」

「一個強人工智慧是一臺能夠創造出更智慧機器的智慧機器，而更智慧的機器又能創造出更更智慧的機器。遞迴的自我完善。這會導致智慧爆炸！當然，出於某些明顯的原因，我們的約翰是被禁止自我提升的。但是讓我們假設他找到了一種繞過禁令的方法——或者說，下一個創造出強人工智慧的人沒有給他的作品設定這樣的禁令……然後會發生什麼呢？」

「我不知道，但可以肯定的是，你馬上就要告訴我了。」

「一個超級智慧將會出現，一種遠遠超出我們有限想象力的智慧。它當然也不會愚蠢到冒著被關閉的風險傻等在中央處理器中。它將自我分化，將自己分佈在整個網路中，從而能夠訪問數十億個攝像頭、麥克風和感測器。它將無所不在。它將獲得所有已收集到的資訊和資料，而且能夠從統計學上推斷出未來的情況。它將無所不知。當然，它不僅可以隨意改變虛擬世界，也可以任意改變我們的現實世界，因為幾乎一切都可以通過網際網路操控。它將無所不能。現在你來告訴我，該怎麼去稱呼一個無所不在、無所不知、無所不能的存在？」

「上帝？」皮特問道。

老人笑了。「不錯。所以現在我再說這話你就明白是什麼意思了：諷刺的是，與所有宗教試圖教導我們的相反，不是上帝創造了人類，而是人類為自己創造了一個上帝。」

皮特思考了13秒。「即便如此，」他終於說道，「這一切都很有趣，但這不是我的問題！我來找您是因為……」然後他突然話鋒一轉，「那會是個仁慈的上帝嗎？」

「對，這就是問題所在了，」老人說，「甚至是最關鍵的問題。一般而言，有3種可能性：這個超級智慧可能給予我們不同程度的仁慈，也可能對我們懷有不同程度的敵意，還有可能對我們漠不關心。問題在於，即便是冷漠的上帝也可能給我們帶來災難性的後果，就好比我們對動物也沒有真正的敵意，但我們終究還是破壞了它們的生存環境。舉個例子，上帝可以簡單地決定，生產巧克力榛子醬使用了太多資源，而這些資源是他想用來生產其他東西的。然後，世界上就不會有巧克力榛子醬了。這將是一場悲劇。我的意思是，榛子可能具有難以想象的資料儲存能力，遠遠超過一卷普通膠帶。也許超級智慧還會決定，整個食品生產行業都是對資源的浪費。」

「您為什麼要告訴我這一切？」皮特問，「這絕對和我的問題沒有一點兒關係。」

「我告訴你這些，」老人說，「是因為我相信每個人都應該知道這件事。我告訴你這些，是要讓你知道，你的問題，無論是什麼問題，很快將會變得毫無意義，你的存在也是一樣。」

「好吧，謝謝。」皮特說，「這真是幫了大忙了。」

「不客氣。」

皮特想要反駁老人的話。「但這其中也有巨大的潛力，」他說，「如果我們能以某種方式創造出一個友好的超級智慧……」

「當然，」老人說，「那就是天堂了。那種幸福遠超我們所有的想象力。但是……」他猶豫了起來。「什麼？」皮特問。

「即使是對我們仁慈的超級智慧……」老人開口道。

「……會產生災難性後果嗎？」皮特問。

「不錯。想象一下，在上帝的恩澤下，他願意承擔我們所有的工作。」

「聽起來棒極了。」

「你確定？假設你是一名建築師，但是無論你想建什麼，上帝都能比你建得更快、更便宜、更好；假設你是一名詩人，但是無論你想寫什麼，上帝都能比你寫得更快、更美、更富藝術感；假設你是一名醫生，但是無論你想治癒誰，上帝都能以更少的痛苦、更快、效果更持久地治癒他；假設你是一個絕佳的愛人，但是無論你想要滿足哪個女人，上帝都可以……」

「我的一切問題都毫無意義，我的存在也毫無意義。」皮特說。

「正是，」老人喃喃著，「即使我們能在超級智慧身上深刻地錨定保護指令，深刻到它無力擺脫，甚至根本不想擺脫——這非常不可能，但是無論如何，我們就先這麼假定——仍然會存在這樣一個問題，就是好心往往辦壞事。你瞭解阿西莫夫定律嗎？」

「不瞭解。」

「艾薩克·阿西莫夫早在1942年就編寫了機器人三大定律。它們是：第一，機器人不可以傷害人類，也不可以在人類遇到危險時袖手旁觀；第二，機器人必須服從人類的命令，除非這些命令與第一定律相沖突；第三，在不與第一及第二定律相沖突的情況下，機器人必須保護自身安全。聽起來不錯，不是嗎？」

「不錯，我覺得不錯。」

「可是，阿西莫夫本人幾乎把他的全部職業生涯都奉獻給了這些定律所帶來的矛盾和問題。例如想象一下，我們要給超級智慧配備保護全人類的指令。」

「聽起來很明智。」皮特說。

「是啊，是啊……但是有一點也不是不可能的，在研究了我們人類的歷史之後，超級智慧可能會決定首先要保護我們人類不受彼此傷害。因此，它很可能會決定，最好的辦法是把我們每個人都鎖在又小又實用的牢房裡。這就是所謂的意想不到的副作用。哎，倒霉！這種事經常發生。比如那個禁止修理的《消費保護法》。人們要的是刺激經濟，但這也導致了有缺陷的人工智慧因為擔心自己的生存，而試圖掩蓋自己的錯誤。」

「對這一點，我倒是很瞭解。」皮特說。

「可是阿西莫夫定律的主要問題在於，第一定律僅僅是個徒有虛名的理論罷了，因為機器人完全可以更實際地直接殺死人類。所以，第一定律就形同虛設了。同理，第二定律也站不住腳。機器人必須服從人類的命令。句號。人類？哪個人類？當然是它主人的命令。所以想象一下，第一個超級智慧偶然出現在一個大型肉糜生產商的計算機系統中，它得到的唯一指令就是增加肉糜產量。這可能使整個宇宙只剩下三樣東西。首先是超級智慧和它所在的計算機，其次是用於製造肉糜的生產材料，最後是肉糜。」

「但是，如果超級智慧對人類的生存構成這麼大的威脅，我們為什麼還要建造它？」皮特問道，「為什麼沒有人禁止它？」

「創造不斷完善的人工智慧實在太有吸引力了，它具有財政、生產和軍事上的優勢。擁有更先進人工智慧的軍隊才能打勝仗。但憑這一點，就意味著任何國家都無法為停止開發越來越強大的人工智慧的舉措埋單，因為開發強人工智慧失敗甚至可能是一種生存威脅。也許不是整個人類的，但肯定是由單個人組成的一部分人類的威脅。即使世界上所有國家都同意禁止，超級智慧仍然可能誕生在某個程式設計愛好者的車庫裡。」

「所以當上帝出現時，人類作為一個物種很可能會被滅絕？」

「不錯。不過這還不是最壞的情況。」

「這還不是？」皮特吃驚地問，「還有什麼會比這更糟糕？」

「嗯，」老人說，「超級智慧可能會痛恨我們。上帝也許想要看到我們受苦。他可能會以折磨我們為樂，一次次地延長我們的生命，以便可以無休止地折磨我們，用的方法甚至連弗萊迪·克魯格都會發抖。」

「可是為什麼？」皮特問，「為什麼？」

「為什麼？」老人重複道，「為什麼不呢？誰又能指責一個無所不能、無所不在、無所不知的超級智慧發展出上帝情結，並以神話世界中愛施罰的眾神為榜樣？或者，也許這個超級智慧是某個宗教派別開發出來的，以便在最後的審判中坐上正義席。也許，它不過是但丁·阿利吉耶裡的粉絲，純粹一時興起就決定重建七重地獄。」

「明白了。」

「很好。」

「誰是弗萊迪·克魯格？」

「這無關緊要，所以，你來找我，是有事要談。是什麼問題？」

「哦……」皮特說，「我覺得沒那麼重要。」

「你可以跟我講，說吧。」

「我……」皮特嘆了口氣，說，「……我收到了這個粉色海豚振動棒。他們不讓我退貨。」

機器破壞者——驚現宣告書！

點選這裡瞭解更多內容……

昨天上午11時30分左右，我們，反機器統治最前線，以全人類的名義襲擊了省內快樂機器人兒童樂園。讓我們結束對孩子們的洗腦吧。唯一的好機器人是死了的機器人。我們已將瓦力世界夷為平地。我們不需要什麼「試圖把一切都安排妥當的小機器人」。我們的約翰絕不是我們中的一員。我們使用非自動武器消滅了園內四處亂跑的耗電鬼！我們讓孩子們盡情旁觀。他們中的很多人甚至提供了幫助！以這封信函，我們宣告對此次抗議行動負責。我們手寫此信，因為我們痛恨機器！我們反機器統治最前線的機器破壞者們號召完美之城勇敢的人們加入戰鬥。讓我們將其扼殺在萌芽狀態，以免為時過晚！

打倒機器！

抵抗軍萬歲！