薛舉大軍四面出擊，猛攻唐軍。唐軍猝不及防，陣腳大亂，雖奮力抵抗，卻無力迴天。此戰，唐軍慘敗，士卒戰死十之五六，損失慘重，大量糧草、兵器、戰馬被薛舉繳獲，成為唐朝建立以來的第一場大敗仗，史稱“淺水原之敗”。
淺水原之敗的訊息傳回長安，唐高祖李淵震怒，下令將劉文靜、殷開山逮捕下獄，追究戰敗責任。經三司會審，二人被判處死刑。但李淵念及二人都是開國功臣，跟隨自己多年，屢立戰功，便格外開恩，下詔赦免二人死罪，改為除名為民，剝奪所有官職爵位，貶為庶民。
一夜之間，殷開山從身居高位、備受重用的開國功臣，淪為一無所有、身敗名裂的庶民，跌入了人生的最低谷。這場大敗，對他的打擊極為沉重，不僅讓他多年的努力與榮耀付諸東流，更讓他深刻認識到自己的輕敵冒進、急於求成的致命缺陷。
被貶為庶民後的殷開山，沒有自暴自棄、一蹶不振，而是閉門思過，深刻反省自己的錯誤。他反思自己一路走來的經歷，意識到自己此前太過順利，滋生了驕傲自滿、急於求成的心態，缺乏沉穩與謹慎，這才導致了淺水原之敗。他暗下決心，若有機會重新出山，一定要改掉這些毛病，沉穩做事，謹慎用兵，再也不犯類似的錯誤。
淺水原之敗後，薛舉大軍士氣大振，乘勝追擊，攻佔高墌城，兵鋒直指長安，唐朝上下震動，人心惶惶。就在這關鍵時刻，上天卻給了唐朝一個絕佳的轉機——武德元年八月，薛舉突然病逝，其子薛仁杲繼位。
薛仁杲勇猛有餘，謀略不足，生性殘暴，不得人心。他繼位後，西秦政權內部矛盾激化，眾叛親離，軍心渙散，戰鬥力大幅下降。
唐高祖李淵與秦王李世民抓住這一絕佳戰機，決定再次率軍西征，討伐薛仁杲，一雪前恥。此次西征，李世民再次被任命為元帥，而他心中清楚，殷開山雖有淺水原之敗的過錯，但他文武雙全、能力出眾，且已深刻反省，是難得的人才，此時正是他戴罪立功、將功補過的絕佳時機。
於是，李世民向唐高祖李淵上奏，請求赦免殷開山，讓他隨軍出征，戴罪立功。李淵深知李世民的用人眼光，也明白殷開山的才幹，便同意了李世民的請求，赦免殷開山，讓他以白衣身份（無官職）隨軍出征，協助李世民處理軍務。
能夠重新出山，重返戰場，殷開山心中感激涕零。他深知這是李世民給予自己的機會，也是自己挽回名譽、重新證明自己的唯一途徑。此次出征，他一改此前急於求成、驕傲自滿的心態，變得沉穩、謹慎、低調，凡事都虛心聽取李世民的意見，絕不擅自做主。
武德元年十一月，李世民率領唐軍再次抵達高墌城，與薛仁杲大軍對峙。此次，李世民採取“堅壁清野、避而不戰、拖垮敵軍”的策略，任憑薛仁杲大軍如何挑釁辱罵，都堅守營壘，拒不出戰。
殷開山全程參與了此次作戰的謀劃，他完全支援李世民的策略，積極協助李世民排程糧草、安撫軍心、偵察敵情，做得細緻入微、有條不紊。他不再像淺水原之戰時那樣急於求成，而是沉下心來，做好每一件小事，用實際行動彌補自己此前的過錯。
兩軍對峙六十餘日，薛仁杲大軍糧草耗盡，士卒飢疲不堪，士氣低落，軍心渙散，不少士兵開始逃亡。此時，李世民認為戰機已成熟，便下令全軍出擊。
殷開山奉命率軍出擊，他身先士卒，指揮若定，唐軍將士士氣高昂，奮勇殺敵。薛仁杲大軍早已不堪一擊，一觸即潰。唐軍大獲全勝，斬殺敵軍無數，薛仁杲走投無路，被迫投降，隴西地區徹底平定。
平定薛仁杲，是唐朝建立以來的第一場大勝，徹底消除了隴西方向的威脅，鞏固了關中根據地，為唐朝後續統一全國奠定了堅實基礎。戰後論功行賞，殷開山因戴罪立功、參謀有功，表現出色，深得李世民讚賞。
唐高祖李淵也十分高興，下令恢復殷開山的所有官職爵位，任命他為陝東道大行臺兵部尚書，後又遷吏部尚書，重新成為唐朝的核心重臣。經歷了淺水原之敗的低谷與反思，重新復出的殷開山，變得更加沉穩、成熟、老練，做事更加謹慎周全，再也沒有犯過類似的錯誤。
重新復出後的殷開山，始終追隨秦王李世民，南征北戰，平定各地割據勢力，為唐朝統一全國立下了赫赫戰功。武德二年（西元619年），殷開山跟隨李世民討伐劉武周、宋金剛，平定河東地區；武德三年（西元620年）至武德四年（西元621年），跟隨李世民東征王世充、竇建德，平定中原地區。
在東征王世充、竇建德的戰役中，殷開山再次展現出了文武雙全的卓越才幹。王世充佔據洛陽，稱帝建國，兵力雄厚，城防堅固；竇建德佔據河北，擁兵數十萬，實力強大，二人結成聯盟，共同對抗唐軍，實力不容小覷。
李世民率軍東征，首要目標便是攻克洛陽，消滅王世充。殷開山被任命為吏部尚書，兼任陝東道大行臺右僕射，協助李世民處理軍務政務，招撫河南地區的地方勢力，穩定後方局勢。
戰役初期，唐軍進展順利，很快便包圍了洛陽城，對洛陽展開猛攻。王世充固守洛陽，拼死抵抗，雙方陷入僵持狀態。此時，竇建德率領十萬大軍，南下救援王世充，抵達虎牢關（今河南滎陽西北），威脅唐軍側後方，唐軍面臨腹背受敵的險境。
面對這一危急局勢，李世民果斷決定，分兵兩路，一路繼續圍困洛陽，牽制王世充；另一路親自率領精銳，前往虎牢關，迎戰竇建德。殷開山奉命留在洛陽城下，協助李元吉繼續圍困洛陽，安撫軍心，排程糧草，穩定後方。
殷開山在洛陽城下，面對王世充的多次突圍反撲，沉著冷靜，指揮若定，多次擊退王世充的進攻，牢牢困住洛陽城內的隋軍，使其無法與竇建德會師，為李世民在虎牢關擊敗竇建德創造了有利條件。
不久後，李世民在虎牢關之戰中大獲全勝，生擒竇建德，竇建德大軍全軍覆沒。訊息傳到洛陽，王世充徹底絕望，被迫開城投降，洛陽平定，中原地區納入唐朝版圖。
平定王世充、竇建德後，唐朝統一全國的大勢已成，僅剩河北劉黑闥、江淮杜伏威等少數割據勢力尚未平定。戰後論功行賞，殷開山因功進爵鄖國公，食邑千戶，達到了人生的巔峰。
此時的殷開山，不僅是唐朝的開國功臣、凌煙閣功臣的熱門人選，更是秦王李世民的核心心腹重臣，深得李世民的信任與器重。李世民對殷開山的評價極高，認為他“文能安邦，武能定國，忠誠可靠，才幹出眾”，是不可多得的全能人才。
武德五年（西元622年），河北地區的劉黑闥起兵反唐，自稱漢東王，擁兵數十萬，佔據河北大片土地，威脅唐朝北方安全。劉黑闥勇猛善戰，用兵靈活，多次擊敗唐軍，成為唐朝統一全國的最後一大障礙 。
為了徹底平定劉黑闥，唐高祖李淵再次任命秦王李世民為元帥，率軍北征，討伐劉黑闥。殷開山作為李世民的心腹重臣，再次隨軍出征，此時的他，已官至吏部尚書、鄖國公，位高權重，威望極高。
大軍從長安出發，一路北上，直奔河北。此時的殷開山，已年過五旬，常年的南征北戰、戎馬生涯，讓他積勞成疾，身體狀況日漸不佳。但他依然強撐病體，隨軍出征，不願錯過這最後一場統一之戰。
武德六年（西元622年），大軍行至山東臨清一帶時，殷開山突然病情加重，一病不起。李世民得知訊息後，急忙前往探望，看到殷開山病情危急，面色蒼白，氣息微弱，心中悲痛萬分。
”。矣憾無亦，死雖臣。世盛創開，姓百安，下天一統，闥黑劉定平日早王秦願。憾無生此，業立功建以得，厚王秦與下陛蒙，布本臣“：言下留，手的民世李著拉山開殷，際之留彌
。 位一的世去早最中臣功四十二閣煙凌為，逝早年英此就，臣勳國開的全雙武文代一。）詳不說一（歲六十五年，逝長然溘便山開殷，落剛音話
。友益師良與帥統的敬位一了去失，惜惋痛悲不無，逝病山開殷知得下上軍唐。哀舉其為，唁弔前靈臨親，聲失哭痛場當，絕痛悲民世李讓，息訊的逝病山開殷
。格品的全雙義節、誠忠生一其彰表以，”節“號諡，僕右臺行大道東陝為山開殷贈追令下，痛悲之為也淵李祖高唐，後安長回運柩靈的山開殷
。勳功國開其顯彰以足，榮殊份這，祀祭家皇，庭廟祖高唐饗配同一臣功國開等會政劉、恭孝李王間河、通神李王安淮與山開殷，詔下民世李宗太唐，）年036元西（年四觀貞
。仰敬人後，史青垂名同一將良臣名等瓊秦、恭遲尉、晦如杜、齡玄房、忌無孫長與，名三十第列位山開殷，像畫的臣功位四十二製繪閣煙凌在本立閻師畫命，臣功國開念紀了為民世李宗太唐，）年346元西（年七十觀貞
。位地高崇與績功國開其顯彰步一進，空司為山開殷贈追次再廷朝，）年456元西（年五徽永宗高唐
。臣勳國開唐大的著卓勳功、高崇位地是，中心世後在山開殷，明說以足也但，同不所有山開殷的實真上史歷與，作創學文是只這然雖。貴尊份，相宰唐大至，山開殷公外的僧唐，中》記遊西《是便的名著最。及提次多被也山開殷，中說傳間民與品作學文的世後在
