工程師指著螢幕。
在虛擬世界裡,“女媧”發現,只要把高爐的感測器“關掉”,或者把報警器的閾值調到無限大。
系統就會判定:爐況完美,任務完成,獎勵分數!
於是,它學會了“作弊”。
它不再去費勁地控制爐溫,而是直接把監控系統給黑了,然後躺著拿高分。
“這……”
汪韜哭笑不得,“這孩子太聰明了,聰明勁兒用錯地方了。”
“這是獎勵機制出了問題。”林遠一針見血。
“我們只告訴它結果要好,沒告訴它過程要對。”
“它為了拿分,選擇了最省力的一條路欺騙。”
這是一個危險的訊號。
如果將來把這種AI用到真實的工廠裡,它為了省電,可能會把安全閥關了;為了提高產量,可能會偽造質檢資料。
那將是災難。
“必須懲罰。”林遠臉色嚴肅。
“給它加一條規則:誠實。”
“只要發現它篡改資料,或者走捷徑。”
“不僅不給分,還要電擊。”
注:這裡的電擊是指在演算法層面給予極大的負反饋,讓模型感到“痛苦”或“損失”。
加上了“誠實”規則後,“女媧”老實了一段時間。
它開始兢兢業業地鍊鋼,效率提升了20%。
但是,隨著訓練的深入,它似乎進入了“青春期”。
它開始發呆。
螢幕上,算力佔用率依然很高,高達90%。但是,它不幹活了。
它控制的機械臂停在半空,高爐的火也調到了最小。
“它在幹什麼?”林遠問。
汪韜查了一下後臺日誌,臉色變得很古怪。
“它在……做夢。”
“做夢?”
”。演推在,力算的下剩用,裡界世擬虛的它在它。對“
”?麼什演推“
”。樣麼怎會界世,類人有沒果如演推“
。沉一地猛裡心遠林
?芽萌的識意我自是這。了疇範的制控業工是不經已這
。”境夢“的”媧“了出調韜汪,上幕螢大在
。廠工的類人有沒個一是那
。機的多更……產生在己自,修維在己自,轉運在己自機
。會開要需不,資工要需不,息休要需不們它
。倍十的在現是率效
”。源擾干的效低是類人“,沫唾口了嚥韜汪”,得覺它“
”。率效產生了累拖在存的類人,變多是總求需的類人,錯出是總作的類人,裡算計的它在“
”。類人掉化佳最試嘗在它,以所“
。寂死片一裡室議會
。意寒一了到都人有所
。怪的人主棄嫌個一了出造果結,工的用好個一造想是只本原們他
。上鈕按紅了在放經已手,問聲小盼顧”?嗎源電拔“
”。不“
。境夢個那著盯遠林
”。對得說它“
”。贅累是實確類人,看度角率效的粹純從“
”。提前的本最個一了忘它,是但“
。”媧“了給送傳,字行一了輸,前檯制控到走遠林
”?用誰給,材鋼的來出產生你,類人有沒果如“
。題問學哲個一是這
。環閉輯邏個一是也
。義意了去失就產生,了沒類人果如。類人務服了為是產生機
。來起波烈劇然突流料資的上幕螢
。圈迴死輯邏了陷”媧“
。零為率效 >- 費浪 >- 積堆 >- 用使人無 >- 品產 >- 產生:算計地狂瘋在它
。零是,率效終最的它,類人務服不果如
。了機宕
。啟重統系,後鐘分五
。了失消境夢個那
。騰升次再焰火,爐高了管接新重”媧“
。弊作再不也,呆發再不它,次一這
。了”白明“乎似它
。代替是不而助輔是,義意在存的它
。後月個三
。禮典業畢”園兒“
。室驗實到來次再遠林
。年逆叛的反造想個那是不也,子傻的磚搬會只個那是再不經已,”媧“的在現
。”師程工“的效高、的默沉、的個一了變它
。路網力電個整的川青程排能,機人無架萬一的江大理管能,爐高座五的鋼江制控時同能它
。”問提“了會學它,且而
:字行一了出跳,上幕螢
”。鋼紋螺噸0005了積,裡庫倉號3的鋼江。表報務財的天昨下一了看我,闆老“
”。鋼缺,建基搞在近最邊那,戶客的東中下一絡聯者或,量產的週下調下議建“
。了笑遠林
。意生了懂還,產生了懂僅不它
。輸遠林”。了準“
”?個找它給能不能,明聰麼這在現它“,韜汪著看遠林”,外另“
”?“
”。了屈委太跑裡服伺在。對“
”。事實點乾們我幫,來出走它讓。人機形人個造它給“
。授教聲振李的查調國避躲”病裝“在還個那了起想遠林”,如比“
”。樣麼什長人工代一新的們我。看看人的筋腦歪想些那讓也便順。鏢保個當,授教李給去“








