事變結束，李淵被迫立李世民為皇太子，不久後禪位，唐太宗正式登基。論功行賞，段志玄作為玄武門核心功臣，一路升遷至左驍衛大將軍，封樊國公，賞賜實封九百戶，擁有實實在在的食邑，手握皇城禁軍兵權，負責皇宮外圍防務，是太宗最放心的宿衛大將。
貞觀初年，天下初定，朝堂之上文武百官各安其職，邊境游牧民族時常南下侵擾，吐谷渾屢屢進犯河西走廊，劫掠商旅、侵佔州縣，太宗決意出兵懲戒，任命段志玄為西海道行軍總管，統領西北各路大軍出征吐谷渾。
大軍抵達青海境內，吐谷渾部落聽聞段志玄領兵前來，自知不敵，連夜驅趕牧馬、部族牲畜向西逃竄，留下大片牧場與馬匹。部下紛紛建議即刻率軍追擊，繳獲敵軍牲畜，重創吐谷渾主力，段志玄卻冷靜判斷：敵軍主動撤退，必定設有伏兵，貿然追擊容易落入圈套，於是按兵不動，原地駐紮固守，沒有貿然出兵。
朝廷御史得知此事，上奏彈劾段志玄逗留不前、錯失戰機，太宗短暫下詔問責，派人前來問詢。段志玄沒有為自己過多辯解，只陳述敵軍設伏的實情，隨後靜待時機。沒過幾日，吐谷渾果然派遣小股部隊折返試探，段志玄抓住機會，全軍突襲，大敗吐谷渾部落，繳獲數萬匹牧馬，徹底擊潰河西邊境的侵擾勢力，向朝廷證明自己按兵不動並非怯戰，而是穩妥佈局。此戰過後，太宗更加認可段志玄沉穩持重的領兵風格，知曉他並非只懂衝鋒的莽將，兼具統籌全域性的將帥之才。
貞觀八年，長孫文德皇后駕崩，舉國治喪，太宗下詔，令段志玄與宇文士及二人分別統領禁軍，駐守肅章門，管控喪葬期間皇城內外兵馬，嚴守門禁，禁止無關人員隨意出入，安保事務全權交由二人處置。
一日深夜，太宗掛念喪禮相關事宜，派遣宮中宦官攜帶親筆手敕，前往軍營傳喚兩位將軍入宮議事。宦官率先抵達宇文士及營寨，通報是天子使者深夜傳旨，宇文士及立刻下令開啟營門，親自出門迎接使者，全程毫無阻攔。
宦官隨後前往段志玄駐守的營寨，叩擊營門，表明持有皇帝手敕，要求立刻開門放行。誰料營門緊閉，守衛士兵傳報段志玄指令：“軍門夜晚不可隨意開啟，無論何人，一律不得入內。”
宦官在門外高聲呼喊：“此乃陛下親筆敕令，事關宮中要事，耽擱不得！”
段志玄立於營牆之上，隔著大門沉聲回覆：“夜色深沉，無法辨別敕令與使者真偽，軍中規矩不可破，待到天明，方可開門核驗詔令。”
任憑宦官在門外百般勸說、拿出天子名號施壓，段志玄始終不肯鬆口，整整一夜緊閉營門，任由使者在門外等候，直至第二日天光破曉，才打開營門，仔細查驗手敕，確認無誤後才接待宦官。
此事傳入唐太宗耳中，太宗非但沒有惱怒段志玄深夜抗旨不給自己顏面，反倒滿心讚歎，對身邊近臣感慨：“段志玄才是真正的將軍，當年西漢周亞夫細柳營治軍嚴明，也無法超過他。”
周亞夫是西漢名將，駐守細柳營時拒絕漢文帝深夜入營，成為千古治軍典範，太宗將段志玄與之比肩，是極高的評價。經此一事，滿朝文武皆知段志玄軍紀如山，公私分明，即便面對帝王旨意，也絕不破壞軍中法度，剛正風骨傳遍長安。
貞觀十一年，太宗推行世襲刺史制度，封賞開國功臣世襲封地，段志玄改封褒國公，兼任金州刺史，子孫可世襲爵位封地，榮耀至極。此後兩年，接連升任右衛大將軍、鎮軍大將軍，武將官階抵達頂峰，常年手握皇城重兵，負責帝王宿衛，太宗出入行宮、外出巡獵，常令段志玄領兵護駕，安危盡數託付於他。
身居高位十餘年，段志玄從未滋生驕縱之心，不結黨、不營私，不與朝中權貴私下往來，平日裡生活簡樸，府邸樸素無華，賞賜所得大多分給族人、麾下舊部，家中沒有囤積鉅額財富。朝堂之上若見到不合理政令，他敢於直言進諫，雖不善文辭，卻句句切中要害，太宗常常採納他的武將視角建議。同僚之中，有人敬畏他鐵面無私，也有人敬佩他忠心純粹，縱觀貞觀初年一眾秦王府舊將，能做到兵權在手、帝王信任、毫無猜忌者，段志玄當屬前列。
貞觀十六年，常年征戰留下的舊傷徹底拖垮段志玄身體，多年衝鋒陷陣的箭矢創傷、潼關之戰足部重傷、遼東與中原戰場積累的勞損一同爆發，臥病在床，無法起身。太宗得知心腹愛將重病，心中萬分焦急，放下朝中繁雜政務，親自乘車駕前往段志玄府邸探望。
踏入臥榻房間，看見昔日身材魁梧、馳騁沙場的猛將臥病消瘦，面色蒼白，太宗心中酸楚，走到床邊輕輕扶住段志玄後背，忍不住落淚。君臣二人相伴數十年，自太原少年相識，一路攜手走過起兵、統一、奪儲、貞觀治世，半生風雨同舟，眼前人已是油盡燈枯，太宗難掩悲傷。
臨別之際，太宗看著奄奄一息的段志玄，許諾道：“你追隨朕半生，勞苦功高，待你病癒，朕授予你兒子五品官職，讓後輩承襲你的功勳榮耀。”
尋常功臣聽聞帝王賜子官職，定會叩首謝恩，可段志玄強忍病痛，掙扎著在床上叩首，懇切推辭這份賞賜，再三請求太宗將五品官爵轉授自己的同母弟弟段志感。
他向太宗解釋：“臣弟段志感，年少時隨父親一同在太原，早年跟隨義軍征戰，屢有微功，只是臣常年身居高位，遮蔽了弟弟的功勞，他至今官職低微。臣的兒子尚且年幼，無功受祿於心不安，懇請陛下收回對犬子的封賞，轉授臣弟，成全臣手足之情。”
太宗聽完大為動容，開國功臣身居高位，臨終之際不為子孫求官，反倒惦念家中弟弟，這份謙遜仁厚、不謀私利的品性，在滿朝勳貴之中實屬罕見，當即應允他的請求，下旨授段志感左衛郎將，滿足段志玄最後的心願。
太宗離開府邸不過數日，貞觀十六年，段志玄病逝，終年四十五歲。訊息傳入皇宮，太宗當場痛哭，為其停止朝堂議事三日，下令宮中舉哀，派遣皇室宗親前往府邸主持喪葬事宜。
朝廷追贈段志玄輔國大將軍、揚州都督，賜予諡號“忠壯”。古往今來，雙字諡號規格極高，初唐開國功臣之中僅有寥寥數人可得，“忠”代表侍奉君主忠貞不二，不受利誘、臨危不改其心；“壯”代表沙場勇武，臨戰不懼，捨身報國，二字完美概括段志玄一生品格與功績。同時下詔特許段志玄陪葬昭陵，日後永久伴唐太宗陵寢左右，這份殊榮是帝王給予功臣最高的身後恩寵。
貞觀十七年，太宗為紀念一同平定天下、開創貞觀盛世的功臣，設立凌煙閣，命閻立本繪製二十四位功臣畫像懸掛閣中，供世人瞻仰銘記。段志玄憑藉半生忠勇戰功，位列第十，名次遠超程咬金、秦瓊等後世家喻戶曉的名將。
很多後世讀者不解，為何段志玄名氣遠不如秦瓊、尉遲恭，凌煙閣排名卻高出許多，根源在於評判標準不同。秦瓊早年多次易主，玄武門之變並未深度參與；尉遲恭雖有大功，卻時常居功自傲，朝堂多有衝撞；而段志玄自少年結識李世民起，一生從未有半分異心，東宮重金收買不動搖，兵變死守玄武門穩住大局，宿衛皇宮軍紀嚴明，領兵征戰沉穩可靠，私德謙遜無私，文治武功、君臣忠義、個人品性全無短板，是太宗心中無可替代的肱骨之臣，正如唐太宗親口所言：“段志玄，吾之肱骨也。”
盛唐後世帝王，亦從未忘記段志玄的功勳。神龍元年，唐中宗評定前代功臣，段志玄名列其中，恢復食邑賞賜；大曆十四年，唐代宗劃分前代功臣等次，段志玄與尉遲敬德、李孝恭並列第二等；建中元年，唐德宗核定上等功臣三十四人，段志玄榜上有名，歷經數朝，世代尊崇，忠壯之名流傳百年。
段志玄一生育有三子，長子段瓚、次子段瓘、三子段珪，家族文脈與武風並行傳承，延續臨淄段氏榮光。
長子段瓚承襲褒國公爵位，繼承父親一身勇武，成年後投身禁軍，武則天執政時期官至左屯衛大將軍，復刻父親當年宿衛皇城的職責，鎮守潼關重地，治軍風格酷似段志玄，嚴謹公正，恪守法度，朝野評價頗高。段瓚之子段懷簡承襲爵位，開元年間官拜太子詹事，侍奉東宮，深受唐玄宗信任。
次子段瓘走文官道路，歷任朝邑縣令，為官清廉，治理地方體恤百姓，頗有政績；三子段珪出任宣州長史，執掌江南地方政務，妥善安撫江南百姓，穩定地方秩序。孫輩之中人才輩出，段懷昶任德州參軍，段懷本官至禮部郎中，在朝堂禮部執掌禮制文書，文武分支齊頭並進。
。料史貴珍量海下留究研史文世後為，今至傳流，作之峰巔學文記筆代唐是，故典聞奇下天羅包，》俎雜酉《奇傳記筆下寫，式段子之昌文段；治吏通，眾出采文，年餘十政朝掌執，相宰拜間年宗穆唐，昌文段孫世七玄志段。家大的史青垂名位兩生誕期時唐晚中，族壇文型轉家世武文從，澱沉代幾經歷，勳功將武唐初於步止未並族家氏段
