穿過北疆科大的校門,越過兩棟教學樓,實驗室裡,李澤和姜伊伊安安靜靜地坐在門口的位置。
雖然是週末,但吳曉忠的實驗室卻沒有休息。
“老師,這次我只微調了150個引數,可這任務卡在99%已經兩天了,咱們實驗室的算力什麼時候能增加一些?”
吳曉忠的學生王楠在一旁抱怨道。
他也不想週末泡在實驗室,可手裡的任務一直在延遲,倒不是他程式碼寫的慢,而是實驗室的算力實在是不夠用。
吳曉忠主攻的就是AI大模型,之前接受李澤的投資,大模型研發有了長足的進展。
甚至已經有了很多成果落地。
可在繼續迭代的過程又遇到了問題,資料工程、架構創新等基礎都已經做到極致。
可問題就出現在調參訓練上,實驗室的硬體有限,每次跑任務都要等上幾天。
寫程式碼只要一小時,可等任務卻超過了3天。
吳曉忠的大模型在這樣的效率下,不僅沒有掉出第一梯隊,還能跟上世界先進水平,已經很不容易了。
要知道,現在的大模型動不動就上億級別的引數,每次只最佳化幾百個,這效率可想而知。
“困難總是有的,想辦法克服就是了,等熬過這一段時間,一切都會好的。”
吳曉忠出言安慰道。
他也不是沒做出改變,模型架構已經最佳化到極致,kv快取壓縮至十分之一,長上下文視訊記憶體佔用降低90%。
分散式、無輔助損失負載均衡、雙向流水線,能想到的都想到了,可問題是底層的硬體底座不夠給力。
用的顯示卡是幾年前的舊款,數量和質量都不盡如意,也不是他不想更新。
實在是醜國封殺得嚴,高階顯示卡禁運,吳曉忠想買也買不到。
想訂購國內最新款自研顯示卡,可是產能又不夠,那些大公司都吃不飽,他一個小實驗室想搶到訓練用的顯示卡太難了。
無奈,只能用時間來換,爭取每次調參的程式碼準確性高一些,避免出現返工的問題。
又查看了幾個學生的任務,吳曉忠慢慢走到李澤的身前。
這是他第二次見李澤,上次還是在海浪汽車的廠裡,測試自動駕駛模型的時候。
他對李澤的印象很深,是個聰明孩子,而且還是李尚海的兒子,大家都親切地稱呼李澤為小李總。
“小李總,今天怎麼有空來這裡玩,是不是想提前感受一下大學的氛圍?”
“吳教授,我這次來是有點事想請教你的。”
“哦?”
吳曉忠饒有興趣地盯著李澤,一個小學生有問題請教他一個大學教授,多少令人有點好奇。
“說說看,有什麼是要請教的?”
。面對的澤李在坐,子椅把了拉便隨忠曉吳








