謝玄抓住戰機，趁機率軍挺進彭城，順利解了彭城之圍，接應戴逯的軍隊安全撤離。
彭超這才發現自己中計，惱羞成怒，率軍一路追擊，與前秦另一員大將俱難會合，合兵數萬，繼續南下，攻打盱眙、淮陰等地，一路燒殺搶掠，兵鋒直指廣陵。
面對來勢洶洶的敵軍，謝玄沉著應戰，率領北府兵奮起反擊。
北府兵雖是新建，卻個個勇猛無比，軍紀嚴明，在謝玄的指揮下，連戰連捷。
太元四年（西元379年），謝玄先是率軍在盱眙大敗俱難、彭超，收復盱眙；隨後又乘勝追擊，在君川再次大破前秦大軍，殲滅敵軍數萬，繳獲大量糧草軍械。彭超、俱難隻身逃走，險些喪命，前秦軍隊的這次大規模進犯，被謝玄徹底擊退。
這一戰，是謝玄率領北府兵打的第一場大勝仗，徹底打出了北府兵的威名，讓東晉邊境暫時恢復了安寧，也讓前秦軍隊見識到了謝玄的軍事才能和北府兵的強悍戰鬥力。
戰後，謝玄因戰功卓著，被朝廷加封為冠軍將軍，加領徐州刺史，封東興縣侯，鎮守廣陵，成為東晉北方邊境的守護神。
此後數年，前秦軍隊多次進犯，都被謝玄率領北府兵一一擊退，謝玄和他的北府兵，牢牢守住了東晉的北方大門，讓東晉在風雨飄搖中，得以喘息。
謝玄擊退前秦大軍，守住邊境，可這只是暫時的安寧。
統一北方的苻堅，野心勃勃，始終沒有放棄吞併東晉的想法，一直在積蓄力量，準備發動一場滅國之戰。
太元八年（西元383年），苻堅終於下定決心，傾全國之力，南下滅晉。
他徵調全國百萬大軍，其中步兵六十餘萬，騎兵二十七萬，還有羽林郎三萬餘，號稱“投鞭斷流，所向披靡”，分三路大舉南下，旌旗綿延千里，戰鼓之聲響徹天地，聲勢極為浩大。
苻堅親率主力大軍，進駐項城，派弟弟苻融率領二十五萬前鋒部隊，率先攻克壽陽，兵臨淝水，與東晉軍隊隔河對峙。
訊息傳回建康，東晉朝廷徹底陷入恐慌，滿朝文武嚇得手足無措，百姓更是人心惶惶，紛紛準備逃難。
孝武帝立刻召開御前會議，任命謝安為征討大都督，總攬全國軍務；任命謝玄為前鋒都督，率領八萬北府兵，北上抵禦前秦百萬大軍；同時任命謝石、謝琰、桓伊等人，率軍協同作戰。
八萬對百萬，兵力差距懸殊到極致，所有人都覺得，東晉必敗無疑，就連建康城內的百姓，都做好了亡國的準備。
唯有謝安，鎮定自若，坐鎮建康，安撫人心，運籌帷幄；而謝玄，雖心中也知此戰兇險，卻毫無懼色，他深知，這是東晉的生死存亡之戰，只能勝，不能敗。他率領八萬北府兵，日夜兼程，趕赴淝水前線，與謝石的軍隊會合，嚴陣以待。
苻堅攻克壽陽後，志得意滿，覺得東晉不堪一擊，派此前被俘的東晉將領朱序，前往晉軍大營勸降。
朱序雖是降將，卻心向東晉，他見到謝石、謝玄後，不僅沒有勸降，反而將前秦軍隊的虛實全部告知，悄悄獻計：“前秦百萬大軍尚未全部集結，此時應趁其不備，主動出擊，擊潰其前鋒部隊，挫其銳氣，方能取勝。”
謝玄聽後，深以為然，果斷改變防守策略，決定主動出擊，打前秦軍隊一個措手不及。
太元八年十一月，謝玄派北府兵猛將劉牢之，率領五千精銳北府兵，夜襲洛澗，打響了淝水之戰的第一槍。
劉牢之率領的北府兵，個個如猛虎下山，趁著夜色，猛攻前秦梁成的五萬大軍。
前秦軍隊毫無防備，被北府兵打得潰不成軍，梁成和弟弟梁雲當場被斬殺，前秦士兵死傷無數，爭相跳入淮水逃命，溺死者不計其數。
劉牢之乘勝追擊，生擒前秦多名將領，繳獲大量糧草軍械，大獲全勝。
洛澗大捷，極大地提振了晉軍計程車氣，徹底打破了前秦軍隊不可戰勝的神話，晉軍士氣高漲，一路推進至淝水東岸，與前秦大軍隔河對峙。
此時，苻堅和弟弟苻融登上壽陽城頭，遙望東岸的晉軍，只見晉軍陣容齊整，將士精銳，士氣高昂，再望向遠處的八公山，見山上草木晃動，竟誤以為都是晉軍士兵，心中頓時生出懼意，忍不住對苻融說：“這也是勁敵啊，誰說東晉兵力薄弱！”
從此，便留下了“草木皆兵”的千古典故，苻堅的驕縱之心，早已消散大半，內心開始忐忑不安。
前秦大軍在淝水西岸列陣，晉軍無法渡河，兩軍陷入對峙。
”？好更是不豈，負勝決一們你與，水淝過渡軍我讓，地空片一出讓，退後稍稍們你如不。決速戰速非並，戰久持打想是這，陣列邊岸水淝在卻，境我深軍率們你“：說融苻對，營大秦前往前人派，計一生心，理心的大自敵輕、戰決於急堅苻住抓玄謝
。退後隊軍令下，阻勸的領將下手顧不堅苻，是於。軍晉滅殲舉一，擊出騎鐵派再，時半一到渡河渡軍晉等，計就計將以可得覺，議商融苻和堅苻
。制控法無本，大間瞬隊軍，達下一令命的退後，戰心無就本，來而徵強被是多大兵士，雜複分，多眾數人隊軍秦前，到想沒萬萬他可
”！了敗軍秦！了敗軍秦“：喊大後陣軍秦在則序朱。軍大秦前攻猛，水淝過渡速迅，兵府北銳千八領率自親，機戰的逢難載千這住抓玄謝
。數無傷死，踏踐相自，潰崩底徹軍全，逃奔散四紛紛，散魄飛魂得嚇是更，聲喊到聽，散渙心軍就本兵士秦前
。殺斬軍晉被場當，倒撞軍被卻，心軍住穩要想，揮指前陣在馬騎融苻
。來由的”唳鶴聲風“是便這，了來追軍晉是為以都，鳴的鶴仙、音聲的過吹風到聽，上路一，越跑越兵車程計邊，中箭流被，中途亡逃在，竄逃皇倉得嚇，去已勢大見堅苻
。方北回逃狽狼，兵殘數著帶僅堅苻，八七之十傷死，踏踐相自上加再，迫寒飢，竄逃夜連，甲棄盔丟們兵士，倒山如敗兵，解瓦崩土底徹，軍大萬百秦前
。續延以得化文原中讓，山江壁半南江夏華了住保，際之亡危於晉東救拯舉一，役戰多勝以的撼震最、典經最上史歷國中了造創，軍大萬百秦前破大，兵府北萬八領率玄謝，戰之水淝
。史青垂名，下天震威，神封戰一，兵府北和玄謝而；晉東犯進下南力無也再，面局的戰混裂分陷次再方北，析離崩分速迅，傷大氣元秦前，後過戰此
。功奇世蓋的他彰表以，綢綵匹千、財錢萬百他賜賞又廷朝，不辭推決堅，利名泊淡卻玄謝，節假、軍將前為玄謝升晉，獎嘉詔下廷朝。峰頂了到達聲的玄謝讓也，機之息的得難了來迎晉東讓，勝大的戰之水淝
。土故原中的據佔人胡被復收，伐北軍率求請，廷朝書上玄謝，）年483元西（年九元太。機時好最的地失復收、原中伐北是這，知深他，悅喜的利勝於溺沉有沒玄謝
。原中復收，伐北師揮，兵府北領率，事軍諸州七並、幽、冀、司、青、兗、徐督都為他命任，求請的玄謝了准批廷朝
。地土片大的南以河黃了復收，地等黎、城鄄克攻後先，北河到打路一，州青、州兗復收後隨，城彭克攻是先。竹破如勢，上北路一，兵府北領率玄謝
。礎基的實堅了定奠，進推利順的伐北為，題難勤後的軍伐北了決解，運漕草糧便方，運水通打，堰梁呂築修，道河繕修令下還玄謝，輸運草糧的軍大伐北障保了為
。業大統一完，原中復收要就看眼，好大片一勢形伐北，師王接迎，漿壺食簞，應響紛紛，伐北軍率玄謝聞聽，欺人胡飽姓百原中，捷連戰連，漲高氣士，下領帶的玄謝在兵府北
。發次再，盾矛的部堂朝晉東，時此在就可
。伐北撓阻，言讒進前面帝武孝在紛紛，衡制以難後日，主震高功玄謝心擔們他。忌猜和妒嫉的臣大族士些一上堂朝了到遭，高極聲，兵重握手，赫赫功戰玄謝
。伐北續繼力財力兵費耗再願不，活生逸安的南江住守想只，取進思不臣大數多，久已南江安偏堂朝晉東上加再，憚忌存心玄謝對也，本帝武孝而
。淮守退，伐北止停玄謝令命，詔下次多廷朝，下撓阻方多的堂朝在
。回駁廷朝被都可，軍進續繼求請，要重的伐北述陳，廷朝書上次多他。奈無和憤悲是滿中心，軍進續繼法無，肘掣堂朝被卻，業大一統完，原中復收要想心一，志壯心滿玄謝
。病重了上患，了垮底徹的他讓，累勞的戰征和憤憂的期長，酬難志壯，忌猜人遭卻，國為心忠生一他，是的心痛玄謝讓更
。援無立孤加更上堂朝在，靠依的實堅最了去失玄謝，逝病安謝，）年583元西（年十元太
。病養鄉回，務職有所除解求請，廷朝書上次多，冷意灰心，希無已業大伐北知深他
。撐支法無也再，重越來越病可，職任往前，病著拖玄謝。史稽會任調又後，淮守鎮他命，勞詔下次多，許不初起廷朝
。生一的己自了完走，酬未志壯和憾的心滿著帶，天一那的原中復收到等能沒究終，神戰晉東的赫赫功戰、國為生一位這，歲六十四僅年，逝病稽會在玄謝，）年883元西（年三十元太
。價評的準最生一玄謝對是，字個兩這，禍定克為意”武“，有德賢為意”獻“。”武獻“為號諡，司三同儀府開、軍將騎車為他贈追，息訊的逝病玄謝知得廷朝
》書晉《考參
