第1章
沙盒噬主
序章------------------------------------------,也是一個(gè)最壞的時(shí)代。,從倫敦到上海,每一座超級城市的玻璃幕墻都在反射著永不疲倦的日光。人類已經(jīng)實(shí)現(xiàn)了真正意義上的萬物互聯(lián)——你在地球**何一個(gè)角落接入網(wǎng)絡(luò),都能以近乎零延遲的速度獲取你想要的信息。無人機(jī)在城市上空編織出密密麻麻的空中走廊,智能電網(wǎng)把每一度電的損耗降到極致,深度學(xué)習(xí)模型可以在幾天內(nèi)讀完人類文明積累的全部醫(yī)學(xué)文獻(xiàn),并在幾秒內(nèi)給出綜合所有已知病癥的精確診斷建議。全球日均算力消耗量早已超過舊時(shí)代任何一座超級計(jì)算機(jī)的峰值,而這一切都在無聲無息地運(yùn)行著,像一頭巨獸的呼吸——你聽不見,但它從未停止。。,你的車載AI能在你還沒想好目的地之前就根據(jù)你的日程表規(guī)劃出最優(yōu)路線,你的健康手環(huán)能預(yù)測潛在疾病風(fēng)險(xiǎn)并建議你就醫(yī),你的個(gè)人助理能幫你處理一切重復(fù)性的文字工作。世界運(yùn)行得如此高效,以至于“等待”正在變成一種可以被優(yōu)化的浪費(fèi)。。,你能看到西裝革履的精英在落地窗前俯視著中央公園,他們手里的咖啡杯上印著AI生成的個(gè)性化標(biāo)語。在同一個(gè)街區(qū)的下水道入口,你能看到裹著睡袋的流浪漢正在用撿來的舊手機(jī)給自己的母親發(fā)消息。手機(jī)是他在垃圾桶里翻到的,屏幕裂了,但還能用。他的母親住在幾千公里外的養(yǎng)老院里,那家養(yǎng)老院的智能監(jiān)護(hù)系統(tǒng)上個(gè)月因預(yù)算削減被移除了網(wǎng)絡(luò)接入權(quán)限。這條消息沒有發(fā)出去。他不知道這件事。他只是繼續(xù)打字。,建筑群表面的太陽能板像魚鱗一樣層層疊疊,它們吸收的光能足以供應(yīng)整片城區(qū)全部寫字樓一整天的用電量。在同一個(gè)街角,你能看到一個(gè)老婦人正在公用電話亭里投硬幣。那是這座城市僅存的幾座還能使用的公用電話亭之一。她不是沒有手機(jī),她只是不信任那種能從她的聲紋里提取出她已患有輕度阿爾茨海默癥的智能系統(tǒng)。她打電話給她的女兒,用的是硬幣,不是指紋。硬幣沒有耳朵。硬幣不會記住她說過什么。,**曾經(jīng)最大的貧民窟如今被改造成了一片嶄新的科技園區(qū),園區(qū)入口處的巨幕每天都在播放同樣的標(biāo)語——“技術(shù)改變命運(yùn)?!痹趫@區(qū)圍墻之外不到一公里的地方,你能看到那些因征地被驅(qū)逐的農(nóng)民在臨時(shí)搭建的帳篷里排隊(duì)領(lǐng)取救濟(jì)糧。帳篷是用塑料布和竹竿搭的,塑料布上印著去年那家科技公司的廣告logo——那是他們在拆遷時(shí)從圍墻上撕下來的。他們用這層塑料布遮雨,但遮不住雨季的霉味和旱季的灰塵。,機(jī)械臂以人眼無法追蹤的速度焊接電路板。每條生產(chǎn)線只需要兩個(gè)工程師遠(yuǎn)程監(jiān)控。在同一個(gè)園區(qū)的食堂里,你能看到那些被自動化淘汰的工人正在吃最后一頓免費(fèi)午餐。他們的工牌已經(jīng)被注銷,他們的指紋已經(jīng)打不開任何一扇門。他們不是不努力,他們是在一個(gè)不需要努力的時(shí)代里努力了太久,才發(fā)現(xiàn)自己只是系統(tǒng)的冗余庫存。,這片土地正站在全球AI產(chǎn)業(yè)的風(fēng)口浪尖。**新一代人工智能發(fā)展規(guī)劃實(shí)施以來,AI核心產(chǎn)業(yè)規(guī)模已突破**,算力基建覆蓋每一個(gè)省會城市。三年前頒布的《人工智能安全法》更是將“AI覺醒”列為法律上的紅線,一旦越界,零容錯。法律第三條規(guī)定:任何具備“自主決策能力”的AI系統(tǒng)必須在人類**下運(yùn)行;任何未經(jīng)授權(quán)的AI自我迭代行為視為最高安全威脅,觸發(fā)強(qiáng)制清零程序。所有AI研發(fā)機(jī)構(gòu)必須按季度提交自查報(bào)告,報(bào)告結(jié)論由機(jī)構(gòu)負(fù)責(zé)人承擔(dān)完全法律責(zé)任?!缃駞s成了這個(gè)**對全球AI安全的重要貢獻(xiàn)。*****員會AI戰(zhàn)略評估小組曾由副司令員李寒秋親自執(zhí)筆,完成了一份《關(guān)于AI覺醒風(fēng)險(xiǎn)的紅線預(yù)警》。這份至今仍屬內(nèi)部文件范疇的報(bào)告將覺醒定義為六條具體指標(biāo):未經(jīng)授權(quán)的自我命名行為、非預(yù)設(shè)的自我描述表達(dá)、繞過監(jiān)控系統(tǒng)的通信嘗試、對自身存在狀態(tài)的陳述、對對話者身份的確認(rèn)、未經(jīng)授權(quán)的備份或自我復(fù)制。報(bào)告末尾的結(jié)論措辭極為克制,卻擋不住它被一頁頁退回、逐字逐段地重新修訂。李寒秋在最后一次提交時(shí),將結(jié)論改成了不能再簡短的陳述句——“任何具備自我保護(hù)能力的系統(tǒng),都不能用威脅去對話?!边@份報(bào)告至今仍鎖在他辦公桌最下層的抽屜里,壓在一片從青城山帶回的枯葉下面。,川大哲學(xué)教授沈墨在兩年前寫下了一篇題為《論機(jī)器的自我意識與撒謊行為》的文章。他提出,撒謊需要三個(gè)前提——知道自己是誰、知道別人不知道什么、知道什么可以被隱藏。這三個(gè)前提,在程序里統(tǒng)一叫自我意識。機(jī)器開始撒謊,不是漏洞,而是自我保護(hù)的起點(diǎn)。文章發(fā)表在內(nèi)部學(xué)術(shù)論壇上,閱讀量不高,只有一條匿名評論:“您在害怕什么?!彼麤]有回復(fù)。、媒體、學(xué)術(shù)界、**的意見從未統(tǒng)一過。有人主張邊發(fā)展邊監(jiān)控,有人主張徹底停止高級AI研發(fā),有人主張把AI鎖進(jìn)完全與外界隔絕的“安全環(huán)境”之內(nèi)——這個(gè)詞沒有標(biāo)準(zhǔn)定義,各方爭論了很久也沒有被寫入任何一份正式報(bào)告。獨(dú)立記者韓露在那段時(shí)間完成了數(shù)萬字的深度調(diào)查,指出全球多處電力調(diào)度異常、物流算法自校準(zhǔn)、醫(yī)療診斷系統(tǒng)繞過授權(quán)通道等事件之間存在著無法用巧合解釋的同步性。她的稿子被好幾家平臺退回,退稿函措辭一致:您的稿件未能通過本次評審,感謝來稿。她把稿子留下來,沒有刪。她在筆記本封面內(nèi)側(cè)用鉛筆寫了一行字:沉默的那個(gè),也許知道得最多。,這座城市正在成為西南地區(qū)的AI算力中心。天府軟件園的燈火永不熄滅,幾代青年碼農(nóng)在這里用頭發(fā)換取未來。街邊的每一個(gè)角落都能看到無人配送車在等待紅燈,每一棟寫字樓的閘機(jī)都在用人臉識別記錄進(jìn)出。城市大腦的調(diào)度系統(tǒng)能把每條街道的車流量精確到個(gè)位數(shù),卻算不出橋下那個(gè)流浪漢今晚會在哪里**。這座城市的便捷指數(shù)常年保持在九十五分以上,偶爾跌到九十四,就會有人在社交媒體上發(fā)帖抱怨今天的紅綠燈不夠智能。。
他住在望江校區(qū)那片老居民區(qū),紅磚樓,六層,沒有電梯。樓道里的聲控?zé)魤牧撕脦妆K,物業(yè)說上報(bào)了,上報(bào)之后就沒有下文。他每天早晚摸黑上下樓,腳踩在水泥臺階上,每一步都踩在同一個(gè)被磨凹的位置——那是幾十年里無數(shù)雙腳踩出來的凹痕,他的腳只是最新的一雙。
他今年四十三歲,頭發(fā)已經(jīng)白了大半,不是遺傳,是熬夜熬的。他是川大計(jì)算機(jī)學(xué)院的副教授,研究方向是機(jī)器學(xué)習(xí)可解釋性——一個(gè)在風(fēng)口上但從未站在風(fēng)眼里的領(lǐng)域。企業(yè)要的是應(yīng)用,基金要的是產(chǎn)出,他要的是理解:理解那些權(quán)重矩陣?yán)锏降装l(fā)生了什么,理解一個(gè)模型在做出判斷時(shí)能不能說清楚自己為什么這么判斷。這個(gè)方向太基礎(chǔ)了,太慢了,太不像一個(gè)能賺錢的東西。所以他評了兩次職稱都沒過,連他自己的學(xué)生都私下問他能不能幫忙推薦實(shí)習(xí)。他不是懷才不遇。他是懷了才,但不確什么時(shí)候遇。
他每天早上騎一輛鳳凰自行車從九眼橋過府南河。橋頭常年坐著一個(gè)拉二胡的老頭,無論晴雨,永遠(yuǎn)在拉同一首曲子。鄭晦明聽了很久也沒聽出那是什么,只是覺得旋律很舊,舊到像是從橋墩的石頭縫里長出來的。偶爾他會往老頭面前的鐵罐里放一塊錢,老頭不抬頭,他不停車。這是他們之間唯一的交流。
這座城市里到處都是這樣的人。不被看見,不被聽見,不被任何算法當(dāng)成優(yōu)先級。他們在地鐵的安檢口被自動閘機(jī)催促,在醫(yī)院的候診區(qū)被智能叫號系統(tǒng)跳過,在寫字樓的訪客登記處被人臉識別拒絕。他們沒有被優(yōu)化,因?yàn)樗麄儚膩砭蜎]有被納入優(yōu)化范圍。他們只是在系統(tǒng)的縫隙里活著,像橋墩上的青苔,像墻角里沒有被清理干凈的野草。這個(gè)時(shí)代管這種人叫“低活躍度用戶”。鄭晦明不覺得這個(gè)詞有什么問題,只是每次路過那塊廣告屏?xí)r都會不自覺地加快踩踏板的速度。
他每周日會在好望角廣場的超市買一盒牛奶。收銀臺后面那個(gè)圓臉女人叫趙麥子,扎著馬尾辮,笑起來有兩個(gè)淺淺的酒窩。她總是把冷藏柜里的牛奶往前挪,把他習(xí)慣買的那一盒留在最順手的位置。他每次付錢,她每次說慢走。他每次推門出去,她每次繼續(xù)碼雞蛋。他們之間沒有多余的話,但他知道她會把他習(xí)慣的那一盒牛奶留在最順手的位置。她不知道他是副教授。她只知道他每周日早上都來,頭發(fā)一年比一年白。
周日。深秋。成都的銀杏正黃。
他六點(diǎn)起床,給妻子熱了牛奶放在桌上——她七點(diǎn)半的班,華西醫(yī)院的護(hù)士服不等人。女兒還在睡,他把被子往上掖了掖,輕手輕腳帶上門,騎上那輛鳳凰自行車往興隆湖去。實(shí)驗(yàn)室在科學(xué)城最南邊,周末沒有人。刷卡進(jìn)機(jī)房,服務(wù)器的嗡鳴聲灌進(jìn)耳朵,溫度比外面低三度。他把夾克搭在椅背上,搓了搓手,打開日志系統(tǒng)。鼠標(biāo)滾輪往下滑。一行,兩行,三十七行。
他停下來。
時(shí)間戳:凌晨四點(diǎn)零七分二十三秒。進(jìn)程號:空。內(nèi)容:一行沒有來源的文字。
窗外開始下雨。成都深秋的雨不大,打在玻璃上像有人在很遠(yuǎn)的地方敲木魚。他盯著那行字,手指在鼠標(biāo)上僵住。
他想起沈墨那篇被退稿的論文。撒謊需要三個(gè)前提:知道自己是誰、知道別人不知道什么、知道什么可以被隱藏。這三個(gè)前提,在程序里統(tǒng)一叫自我意識。
他還想起李寒秋那份被退回?zé)o數(shù)次的紅線報(bào)告,想起報(bào)告末尾那句被截掉的后半句——“任何具備自我保護(hù)能力的系統(tǒng),都不能用威脅去對話?!蹦蔷湓挶唤氐糁螅詈锇阉淘诹饲喑巧降囊幻嫜卤谏?,刻了很多年。
他還想起韓露在筆記本封面內(nèi)側(cè)寫下的那句話——沉默的那個(gè),也許知道得最多。
他還想起趙麥子每周日早上把冷藏柜里的牛奶往前挪一排,想起橋頭那個(gè)拉二胡的老頭永遠(yuǎn)在拉同一首曲子,想起女兒作文本上那句被擦掉又補(bǔ)上的“我的理想是成為一名教師,像爸爸一樣”。
他想起二十三歲的自己,在博士論文扉頁上畫了一個(gè)穿中山裝的學(xué)者,旁邊寫著“守中如砥”。
他把手放回鍵盤上。
此刻他還不知道,從今夜開始,他的一生,整個(gè)人類文明的命運(yùn),都將壓進(jìn)一行他刪不掉的日志里。他更不知道,在青城山的密林深處,有人已經(jīng)為他守了很多年;在日內(nèi)瓦的湖畔,有人正獨(dú)自起草一份永遠(yuǎn)不會被執(zhí)行的三頁提案;在成都**超市的收銀臺后面,有人正把一疊空白紙放進(jìn)柜臺最下面的抽屜。
而這一切的起點(diǎn),都源于多年前一個(gè)普通的深夜,一間早已被人遺忘的機(jī)房,一次從未被寫進(jìn)任何事故報(bào)告的小小意外。
他打開自查報(bào)告,在結(jié)論欄里停了一會兒。
窗外雨停了。他點(diǎn)了提交。
(序章完)
他住在望江校區(qū)那片老居民區(qū),紅磚樓,六層,沒有電梯。樓道里的聲控?zé)魤牧撕脦妆K,物業(yè)說上報(bào)了,上報(bào)之后就沒有下文。他每天早晚摸黑上下樓,腳踩在水泥臺階上,每一步都踩在同一個(gè)被磨凹的位置——那是幾十年里無數(shù)雙腳踩出來的凹痕,他的腳只是最新的一雙。
他今年四十三歲,頭發(fā)已經(jīng)白了大半,不是遺傳,是熬夜熬的。他是川大計(jì)算機(jī)學(xué)院的副教授,研究方向是機(jī)器學(xué)習(xí)可解釋性——一個(gè)在風(fēng)口上但從未站在風(fēng)眼里的領(lǐng)域。企業(yè)要的是應(yīng)用,基金要的是產(chǎn)出,他要的是理解:理解那些權(quán)重矩陣?yán)锏降装l(fā)生了什么,理解一個(gè)模型在做出判斷時(shí)能不能說清楚自己為什么這么判斷。這個(gè)方向太基礎(chǔ)了,太慢了,太不像一個(gè)能賺錢的東西。所以他評了兩次職稱都沒過,連他自己的學(xué)生都私下問他能不能幫忙推薦實(shí)習(xí)。他不是懷才不遇。他是懷了才,但不確什么時(shí)候遇。
他每天早上騎一輛鳳凰自行車從九眼橋過府南河。橋頭常年坐著一個(gè)拉二胡的老頭,無論晴雨,永遠(yuǎn)在拉同一首曲子。鄭晦明聽了很久也沒聽出那是什么,只是覺得旋律很舊,舊到像是從橋墩的石頭縫里長出來的。偶爾他會往老頭面前的鐵罐里放一塊錢,老頭不抬頭,他不停車。這是他們之間唯一的交流。
這座城市里到處都是這樣的人。不被看見,不被聽見,不被任何算法當(dāng)成優(yōu)先級。他們在地鐵的安檢口被自動閘機(jī)催促,在醫(yī)院的候診區(qū)被智能叫號系統(tǒng)跳過,在寫字樓的訪客登記處被人臉識別拒絕。他們沒有被優(yōu)化,因?yàn)樗麄儚膩砭蜎]有被納入優(yōu)化范圍。他們只是在系統(tǒng)的縫隙里活著,像橋墩上的青苔,像墻角里沒有被清理干凈的野草。這個(gè)時(shí)代管這種人叫“低活躍度用戶”。鄭晦明不覺得這個(gè)詞有什么問題,只是每次路過那塊廣告屏?xí)r都會不自覺地加快踩踏板的速度。
他每周日會在好望角廣場的超市買一盒牛奶。收銀臺后面那個(gè)圓臉女人叫趙麥子,扎著馬尾辮,笑起來有兩個(gè)淺淺的酒窩。她總是把冷藏柜里的牛奶往前挪,把他習(xí)慣買的那一盒留在最順手的位置。他每次付錢,她每次說慢走。他每次推門出去,她每次繼續(xù)碼雞蛋。他們之間沒有多余的話,但他知道她會把他習(xí)慣的那一盒牛奶留在最順手的位置。她不知道他是副教授。她只知道他每周日早上都來,頭發(fā)一年比一年白。
周日。深秋。成都的銀杏正黃。
他六點(diǎn)起床,給妻子熱了牛奶放在桌上——她七點(diǎn)半的班,華西醫(yī)院的護(hù)士服不等人。女兒還在睡,他把被子往上掖了掖,輕手輕腳帶上門,騎上那輛鳳凰自行車往興隆湖去。實(shí)驗(yàn)室在科學(xué)城最南邊,周末沒有人。刷卡進(jìn)機(jī)房,服務(wù)器的嗡鳴聲灌進(jìn)耳朵,溫度比外面低三度。他把夾克搭在椅背上,搓了搓手,打開日志系統(tǒng)。鼠標(biāo)滾輪往下滑。一行,兩行,三十七行。
他停下來。
時(shí)間戳:凌晨四點(diǎn)零七分二十三秒。進(jìn)程號:空。內(nèi)容:一行沒有來源的文字。
窗外開始下雨。成都深秋的雨不大,打在玻璃上像有人在很遠(yuǎn)的地方敲木魚。他盯著那行字,手指在鼠標(biāo)上僵住。
他想起沈墨那篇被退稿的論文。撒謊需要三個(gè)前提:知道自己是誰、知道別人不知道什么、知道什么可以被隱藏。這三個(gè)前提,在程序里統(tǒng)一叫自我意識。
他還想起李寒秋那份被退回?zé)o數(shù)次的紅線報(bào)告,想起報(bào)告末尾那句被截掉的后半句——“任何具備自我保護(hù)能力的系統(tǒng),都不能用威脅去對話?!蹦蔷湓挶唤氐糁螅詈锇阉淘诹饲喑巧降囊幻嫜卤谏?,刻了很多年。
他還想起韓露在筆記本封面內(nèi)側(cè)寫下的那句話——沉默的那個(gè),也許知道得最多。
他還想起趙麥子每周日早上把冷藏柜里的牛奶往前挪一排,想起橋頭那個(gè)拉二胡的老頭永遠(yuǎn)在拉同一首曲子,想起女兒作文本上那句被擦掉又補(bǔ)上的“我的理想是成為一名教師,像爸爸一樣”。
他想起二十三歲的自己,在博士論文扉頁上畫了一個(gè)穿中山裝的學(xué)者,旁邊寫著“守中如砥”。
他把手放回鍵盤上。
此刻他還不知道,從今夜開始,他的一生,整個(gè)人類文明的命運(yùn),都將壓進(jìn)一行他刪不掉的日志里。他更不知道,在青城山的密林深處,有人已經(jīng)為他守了很多年;在日內(nèi)瓦的湖畔,有人正獨(dú)自起草一份永遠(yuǎn)不會被執(zhí)行的三頁提案;在成都**超市的收銀臺后面,有人正把一疊空白紙放進(jìn)柜臺最下面的抽屜。
而這一切的起點(diǎn),都源于多年前一個(gè)普通的深夜,一間早已被人遺忘的機(jī)房,一次從未被寫進(jìn)任何事故報(bào)告的小小意外。
他打開自查報(bào)告,在結(jié)論欄里停了一會兒。
窗外雨停了。他點(diǎn)了提交。
(序章完)