《財富自由從偷爸私房錢買彩票開始》第630章 卡脖子(1)

作者:七星青年·1個月前

穿過北疆科大的校門,越過兩棟教學樓,實驗室裡,李澤和姜伊伊安安靜靜地坐在門口的位置。

雖然是週末,但吳曉忠的實驗室卻沒有休息。

“老師,這次我只微調了150個引數,可這任務卡在99%已經兩天了,咱們實驗室的算力什麼時候能增加一些?”

吳曉忠的學生王楠在一旁抱怨道。

他也不想週末泡在實驗室,可手裡的任務一直在延遲,倒不是他程式碼寫的慢,而是實驗室的算力實在是不夠用。

吳曉忠主攻的就是AI大模型,之前接受李澤的投資,大模型研發有了長足的進展。

甚至已經有了很多成果落地。

可在繼續迭代的過程又遇到了問題,資料工程、架構創新等基礎都已經做到極致。

可問題就出現在調參訓練上,實驗室的硬體有限,每次跑任務都要等上幾天。

寫程式碼只要一小時,可等任務卻超過了3天。

吳曉忠的大模型在這樣的效率下,不僅沒有掉出第一梯隊,還能跟上世界先進水平,已經很不容易了。

要知道,現在的大模型動不動就上億級別的引數,每次只最佳化幾百個,這效率可想而知。

“困難總是有的,想辦法克服就是了,等熬過這一段時間,一切都會好的。”

吳曉忠出言安慰道。

他也不是沒做出改變,模型架構已經最佳化到極致,kv快取壓縮至十分之一,長上下文視訊記憶體佔用降低90%。

分散式、無輔助損失負載均衡、雙向流水線,能想到的都想到了,可問題是底層的硬體底座不夠給力。

用的顯示卡是幾年前的舊款,數量和質量都不盡如意,也不是他不想更新。

實在是醜國封殺得嚴,高階顯示卡禁運,吳曉忠想買也買不到。

想訂購國內最新款自研顯示卡,可是產能又不夠,那些大公司都吃不飽,他一個小實驗室想搶到訓練用的顯示卡太難了。

無奈,只能用時間來換,爭取每次調參的程式碼準確性高一些,避免出現返工的問題。

又查看了幾個學生的任務,吳曉忠慢慢走到李澤的身前。

這是他第二次見李澤,上次還是在海浪汽車的廠裡,測試自動駕駛模型的時候。

他對李澤的印象很深,是個聰明孩子,而且還是李尚海的兒子,大家都親切地稱呼李澤為小李總。

“小李總,今天怎麼有空來這裡玩,是不是想提前感受一下大學的氛圍?”

“吳教授,我這次來是有點事想請教你的。”

“哦?”

吳曉忠饒有興趣地盯著李澤,一個小學生有問題請教他一個大學教授,多少令人有點好奇。

“說說看,有什麼是要請教的?”

。面對的澤李在坐,子椅把了拉便隨忠曉吳

猜你喜歡

同題材或同分類的其他作品。