第82章 教授VS猛男（爆梗1。5w 1/3求首訂）
漆昊得出這個結論後，心跳加速。
為了驗證他的想法，他假設一個標準的神經網路全連線層，其前向傳播與反向傳播的核心，本質上都是大規模的通用矩陣乘法，設輸入矩陣————
經過半個小時的推導，漆昊發現整套訓練流程裡，超過90%的算力開銷全部集中在毫無技術含量的矩陣乘加這種稠密線性運算中，而剩下10%左右的資源，才用於那些看似複雜的控制流操作。
「這簡直是離譜他媽給離譜開門，離譜到家了。」
漆昊看著紙上的資料，忍不住低笑了起來。
CPU為什麼要設計那麼複雜的算術邏輯單元？
為什麼要用上超過70%的電晶體面積去堆砌一級二級三級快取？
為什麼要有複雜的分支預測和亂序執行機構？
因為CPU是為了應對日常電腦使用中那些複雜控制流而生的！
它追求的是低延遲。
在半導體和計算機體系結構中，有一個不可違背的物理鐵律，那就是單顆晶片的矽片面積和功耗是有限的。
在有限的矽片空間裡，CPU為了追求更復雜的單執行緒處理能力，將絕大部分電晶體面積都讓渡給了龐大的多級快取，分支預測和複雜的亂序執行控制單元。
這就直接導致了一個物理上的致命侷限CPU的計算核心數量極少。
哪怕此時市面上單顆頂級的伺服器級CPU，主流物理核心最多也只有8個，用CPU去跑神經網路，就像是面對一個需要搬運上億塊磚塊的大型工地，手上卻只僱了8個會微積分的教授一樣。
這8個教授不管有多擅長微積分，他們本質只是8個體力沒那麼好的人，面對幾乎望不到邊的磚塊，他們只能一磚一瓦慢慢挪動。
這就是最基礎的物理問題，核心數量太少，並行吞吐量低得令人髮指！
可神經網路的訓練，真的需要這些教授嗎？
不需要！
矩陣乘法不需要做任何複雜的邏輯跳轉，也不需要精細的條件判斷，它從頭到尾只存在一種簡單重複的運算規則。
既然如此，那就不應該去請8個會微積分教授，而是應該去請更多會簡單運算的肌肉猛男！
教授雖好，但讓他們在這裡發揮作用，就太大材小用了。
「大力才能出奇跡啊，達瓦里氏。」漆昊不由得啞然失笑。
這種以絕對數量碾壓一切的邏輯，不正是卡爾採夫在《計算系統與同步算術》中推崇的蘇式暴力美學嗎？
用一個統一的控制器，發出一條指令，讓成百上千個微型算術單元在同一時刻，同步執行一模一樣的乘加操作！
為了驗證自己的想法，漆昊在網路上開始找文獻來驗證。
遇上沒什麼用文獻，漆昊基本上看個重點就把它關了，然後繼續看下一篇，這時一篇頂會論文進入了他的視線。
那是發表於2009年IC（國際機器學習大會）上的一篇經典之作，而一作和通訊作者的署名裡，赫然寫著史丹福大學教授機器學習領域大牛吳恩達的名字。
。獻文學的門冷顯略還下當在篇這看始開，件文開點速迅，亮一睛眼昊漆
。導推學數有所的才剛他了證印地合嚴，圖拼的完塊一如正，驗實的謹嚴和料資的盡詳裡文論
。低極限上的行並時算運陣矩量海對面在，極心核理的算計際實於用它得使這，測預支分和取快了給配分被頭大的晶電其了定註構架的雜複UPC，述闡的中文論在隊團達恩吳照按
。的別級碾是稱堪UPC對力算點浮度單的供提其，下耗功等同在，作加乘陣矩的樣一模一行執時同式模的算步同以，下號訊鐘時的一統在以可元單些這，元單算計的級量輕個千上百了滿塞部它，線路化進的同不全完條一另是則UPG而
：料資驗實的要重個一了出給裡文論
！升躍率效的倍07近了現實整整！以天1區區了到力暴，間時練訓的周幾這將接直UPG，後上卡示顯082XTG達輝張單到植移，構重碼式程將們他當而然，息窒人令本間時和費電的費耗，週數達長期週練訓個整，集叢算計的組UPC用使地實實老老果如，時路網度深的模規數引億上，構結層四有擁個一練訓在
」————啊速提的倍07「
。興人讓直簡，掛開理的距差倍07開拉上率效理在接直種這而，子星火出敲盤鍵把盤鍵敲能都，一之分百個升提度確的法算演把了為界學，下當在
。疑的大巨個一是卻的來而之隨，後過興高昊漆
？案答準標的俗定約當路網經神練訓UPC用把然依，員人技程工的線一些這們他工陳，日今至時麼什為那，力威的UPG了示展界世全向文論會頂篇這用就年9002在早授教達恩吳然既
？地落與同認的模規大到得界學和界業工在有沒並，裡室驗實的校高尖頂數在留停是只然依今如，技的飛起率效讓能項這麼什為
？嗎了化業商就早該應是不，用有的真果如
？吧瞎眼本資說能不總
！坑有，對不，理常合不樣這
。來下了靜冷子腦昊漆
。兒哪在坑道知得在現他
。點鍵關些一理梳就他快很，了的目有得變訊資尋搜，昊漆的向方了有
。林森機隨者VS機量向援支的上學數個一配搭再後然，PBL。GOH。TFIS是像，元算運徵特工手是的拜崇遍普家大，子圈覺視機算計的今如
。了卡示顯騰折間時花門專去向方流主非個這了為意願人沒就也然自，雲浮是都型模層深馬神得覺家大，撐支料資註標的量海有沒，子箱黑的參調人要需還合擬過易容是就本路網經神，裡眼者學流主在
。了命老人要都，步一這是，它教須必你，路網經神練訓去它要，面畫戲遊識認只前目它UPG，竟畢
。BG5。1才憶記訊視085XTG的好最在現，是的要重更
。了住卡裡這在都人有所，算計時即的覺視載機的定一現實要又，坑的碼式程練訓ADUC生原寫新重開避既，下制限憶記訊視的BG5。1在要想，以所
。式方線連的數引制限上學數從須必就那，炸數引致導會路網線連全果如
！嘛路網經神積卷是就不這，下了想昊漆，共重權和域區間空
！下裝能也像好憶記訊視的G5。1，被時同也小大的G個幾，別級的萬數有只到量大量數引的存儲要需將以可，用覆核積卷和野域區過
？來起跑率效高麼怎裡UPG在算計積卷，是可
。如不都UPC連能可度速的來出跑後最，突衝存訪的重嚴生發會束緒行執的UPG，圈迴狀巢重多寫裡UPG去路思圈迴C的統傳用果如，加乘的域區做斷不裡口窗個一在要需積卷維二
。看來獻文的關相積卷像影和路網經神找上網在能只又他，了住卡些有裡這到想昊漆
。笑微詳安的有特人魚著掛角，壇論涯天著刷機手用在則門同的位工壁隔而，戲遊的新更剛剛開點備準，鼠向移手把悄悄正傑李的面對斜昊漆在坐，氣口一了鬆都，事的束結要快題課為因實其時此人他其的面裡室驗實
。靜的稿草寫邊這昊漆了到意注就快很們他，而然
。去下點敢沒是示圖戲遊，慌一傑李
。神眼的恐驚個一了換弟師門同的邊旁和，頭過偏他
。道問聲小力努弟師」？嗎了題問決解經已是不，了麼怎是這神漆，哎「
。了魚地得理安心續繼敢不然突他，下一噔咯裡心傑李」？啊道知不「
。獻文看狂瘋在神學有只，玩在都家大，於過莫象現的寒膽人讓最，裡界世的狗研科在
。間時考高過錯，來醒覺一比堪力傷殺，延蔓旦一慌恐種這
。眼一了瞅快飛地足十他，時後昊漆過路在，水接機水飲去杯水著拿裝假，起站悄悄傑李，敵探打了為
。楚清得看也否是昊漆疑懷也，麼什是的寫出不看他，的疊疊重重式公些那，嗯，式公導推種各了滿寫，上紙稿草張那見只
。了苦變都水開白的裡杯覺傑李，上位座到回
。看著試嘗始開，FDP獻文文英久很了馬個一出翻裡腦電從，窗視戲遊了掉關默默他
