雖然方博被那一夜速成的程式碼震得懷疑人生，但在徐辰眼裡，螢幕上那個正在跑的deo，其實……
很簡陋。
甚至可以說是“醜陋”。
“deo雖然跑通了，證明了‘邏輯嵌入’這條路是可行的。但是，”徐辰看著程式碼裡那幾行關於盒子體積的計算公式，眉頭微微皺起，“這個數學模型，太粗糙了。”
現在的模型，是用“超矩形”來表示概念。比如“貓”是一個小盒子，“動物”是一個大盒子。
這種表示法雖然直觀，但在數學上有一個致命的缺陷——梯度硬截斷。
當兩個盒子完全沒有交集時，體積重疊為0，梯度也瞬間變為0。這就意味著，反向傳播在這裡斷掉了，神經網路學不到任何東西。為了解決這個問題，徐辰在程式碼里加了一個很醜的“平滑項”，但這只是權宜之計，治標不治本。
“這就象是用一堆方塊去拼一個圓，無論怎麼拼，邊緣永遠是鋸齒狀的。”
徐辰的數學強迫症犯了。
“必須要最佳化。我需要一個更‘光滑’的幾何結構。”。
“為什麼非要用盒子呢？”
“邏輯的本質是‘偏序關係’。在向量空間裡，能完美表達偏序關係的，不一定是閉合的盒子，也可以是……錐！”
“或者，引入高斯分佈，利用kl散度來衡量包含關係？”
“不，高斯分佈也不夠好，它的尾部衰減太快，難以表達傳遞性。”
徐辰在草稿紙上畫了幾個圖形，最終，他的筆尖停在了一個特殊的流形結構上。
gubel-box（甘貝爾盒子）。
“如果引入極值理論中的gubel分佈來對盒子的邊界進行模糊化處理，就能讓原本剛性的邊界變得‘柔軟’且處處可導。”
“這樣一來，邏輯推理就不再是生硬的‘是’或‘否’，而是一個連續的機率流！”
……
“不過，還有一個邏輯上的漏洞。”
徐辰看著螢幕上新生成的gubel-box模型程式碼，敏銳地捕捉到了一個潛在的問題。
“如果我把邏輯邊界變得‘平滑’了，變成了一個連續的機率流，那這和傳統的transforr有什麼本質區別？transforr也是輸出一個機率分佈，預測下一個詞是‘貓’的機率是80，是‘狗’的機率是20。”
“如果我的模型也只是輸出一個軟綿綿的機率，那它依然可能會在那20的時候胡說八道。”
“必須要有一把鎖。”
徐辰的眼神變得犀利起來。
他迅速在程式碼的輸出層之前，插入了一個全新的模組——邏輯閘控單元。
“gubel-box的平滑性，是為了在訓練階段讓梯度能夠流淌，讓模型能‘學會’邏輯。但在推理階段，也就是真正上考場的時候，這個平滑的邊界必須瞬間‘硬化’。”
他在草稿紙上畫了一個徒峭的sigoid函式。
”。’植‘和’貓‘如比，容相不乎幾上輯邏在們它明說，時值閾個這於低積疊重的裡間空何幾在念概個兩當。）”套“做念，母字臘希個九十第（t值閾度信置輯邏個一定設我“
”！0為斷截行強率機的徑路個這將接直，下落樣一刀閘把一象會元單控門，候時這“
”。’閉我以所，的錯是說麼這，我訴告輯邏何幾但，說麼這想我然雖‘是tra的控門了加而，’說麼這該應得覺我‘是ll的統傳“
”。合結的生與輯邏的完是才這“
。頭點了點地意滿於終辰徐，題問制機的鍵關個這了決解
……
。題問程工的手棘個一另是，的前面辰徐在擺，化佳最的型模學數了定搞
？選麼怎）試測準基是思意，呼稱語英用接直遍普業（krahcneb
。牛你認承才人別，了倒考給等tpg、treb、rrofsnart如比，型模的前以把，中試測的開公在得你。溜溜來出拉得你，用沒型模有，究研ia做
。”集料資譯翻機德英“了擇選隊團elgoog，強tsl和nnr的前以比它明證了為rrofsnart的年當
。。高多有上度疊重彙詞在，子句的譯翻類人和，子句的來出譯翻機看是就也，數分uelb是準標價評。務任的典經常非個一是這
”。度暢流的’生字文‘於在不也，’譯翻‘於在不勢優型模的我。是但“
。長的人別去短的己自拿是那，溜得譯翻誰，好得寫詩寫誰比們它跟去tra讓。了師大言語的生天是經已，砌堆料語的量海著靠，型模tpg的在現
