羊祜對吳，無非籠絡計策，即陸抗亦為所“愚”。吳主孫皓反以為疑，責備陸抗私交羊祜。陸抗上疏辯駁，並陳守國時宜十二條，均不見行。孫皓且信術士刁元言，謂：“黃旗紫蓋，出現東南。荊揚君主，必有天下。”乃大發徒眾，杖鉞西行，凡後宮數千人，悉數相隨。行次華里，正值春雪兼旬，凝寒不解，兵士不堪寒凍，互相私語道：“今日遇敵，便當倒戈。”
孫皓頗有所聞，始引兵還都。陸抗憂國情深，抑鬱成疾，在鎮五年，竟致溘逝。遺表以西陵建平，居國上游，不宜弛防為請。吳主孫皓因而命陸抗三個兒子分統部軍，陸抗長子名元景，次子名元機，又次子名雲，陸機和陸雲善屬文，並負重名，獨未諳將略。吳主孫皓卻令他分將父兵，真所謂用違其長了。
術士尚廣，為吳主孫皓卜筮，上問休咎。尚廣希旨進言，說是歲次庚子，青蓋當入洛陽。吳主孫皓大喜。已而臨平湖忽開，朝臣多稱為禎祥。臨平湖自漢末湮塞，故老相傳：“湖塞天下亂，湖開天下平。”
吳主孫皓以為青蓋入洛，當在此時，因召問都尉陳順。陳順答說道：“臣止能望氣，不能知湖的開塞。”孫皓於是令他退去。
陳順出宮告訴密友，說道：“青蓋入洛，恐是銜璧的預兆。今臨平湖無故忽開，也豈得為佳徵麼？”嗣復由歷陽長官奏報，歷陽山石印封發，應兆太平。
孫皓又遣使致祭，封山神為王，改元天紀。東吳方相繼而稱慶，西晉已潛擬興師，羊祜繕甲訓卒，期在必發，因首先上表，力請伐吳，大略如是說：
先帝順應天意人心，西平巴蜀，南和孫吳，海內百姓得以休養生息，人心安樂。而吳背信棄約，使邊境又生戰事，國家氣數雖是天定，而功業必靠人為，不滅東吳，則士卒百姓無安寧之日。完成統一大業，也是光大先帝功勳，實現無為而治的舉措。堯伐丹水，舜徵三苗，都是以使宇內安寧，停止兵亂，民眾和睦為目的的。當年平蜀之時，天下人都以為應當一併滅吳，而蜀滅至今已十三年，這算一個週期，滅吳的日子應在今朝。
而議論此事者常說吳楚在盛世最後被征服，在亂世最先強盛，這是諸侯紛爭的時候，當今天下一統，不得與古時並論。有些說法只適用於大道理而不知權變，所以出謀略的人很多，而可以作為決策的就少了。凡是憑險阻而得生存的國家，是指它的實力與敵國相差不多，有力量固守。如地位輕重不同，強弱相差很大，那智士的計謀也不能救它。險阻的地勢也不能保它。蜀國地勢不是不險要，高山上接雲霓，深谷不見日月，關隘險道，束馬懸車方能透過，有一夫操戈，千人莫擋之勢。
然而滅蜀進軍時，蜀國好像連一道籬笆都沒有，我軍斬將奪旗，斬殺敵軍數萬，乘勝席捲蜀地，直搗成都城下，漢中一帶的蜀兵，像鳥棲於巢一樣不敢出動。這也並非蜀人不願戰，實在是力量不足與我軍抗衡。到劉禪投降時，蜀地各營壘官兵便悄然四散。目前江淮的難渡不會超過劍閣，山川的險要不會超過岷山漢水，孫皓的暴虐超過劉禪，吳人的貧困甚於巴蜀，而大晉的軍隊多於前世，軍餉兵械多於往日。不趁此機會平吳，而屯兵據險相守，使士兵役夫日夜辛苦於戰爭徭役，曠日持久。
這種狀況不能維持長久，應當及時定奪，統一四海。如果率領梁、益兩州軍隊水陸並進而東下，荊楚軍隊進逼江陵，平南、豫州軍隊進攻夏口，徐、揚、青、兗等州軍隊進軍秣陵，擊鼓搖旗作為疑軍，多方齊進，使敵軍虛實難辨，以東南一角的吳國，抵擋天下大軍必然兵力分散，人心慌亂，各種軍需緊急難備。這時巴、漢軍隊順流而下，直搗空虛腹地，一處陷落則全境震動。吳國國土沿江，沒有前線後方之分，東西數千裡，處處設防，戰場廣大，不能安息養精。孫皓肆意妄為，與下屬互相猜忌，名臣重將失去信心，所以像孫秀這類人都害怕威脅而來投降。
將帥疑於朝廷，士卒困頓於戰場，沒有保國安民之計，人心散亂，平時即有叛離之意，一旦兵臨城下，必然有人響應而來降，他們最後不會齊心拼死盡忠是可以預見的。
吳人做事急速而不能持久，弓弩戟盾等又不如中原，只有水戰於他們有利，但我軍一入吳境，長江就不是吳軍專有，吳軍回頭保守城池，則是去其長而有其短。晉軍深入敵國，遠離後方，必有死戰的決心;吳人在本土作戰，會有敗則退而守城的念頭。如此看來，平吳之戰是很快可以取勝的。
乞奮神斷，毋誤事機，臣不勝櫜鞬待命之至。
這奏表呈上，晉武帝司馬炎很為嘉獎接納，即召群臣會議進止。賈充、荀勖、馮紞，卻極力反對，朝廷群臣多是同聲附和，且言秦涼未平，不應有事東南。
晉武帝因而飭令羊祜且緩進兵。羊祜復申表固請，大略謂：“東吳平定，則胡人自然安定，當前只應迅速完成滅吳的大業，不必遲疑啊。”
晉武帝司馬炎終為廷議所阻，未肯急進。羊祜長嘆道：“天下不如意事，常十居八九，當斷不斷，天與不取，恐將來轉無此機會了。”
既而晉朝廷有詔封羊祜為南城郡侯，羊祜固辭不拜。
羊祜任職歷魏晉二朝，掌握國家機要，重大舉措，都要向他諮詢，而爭權求利的事卻與他無關。他所獻的好計謀和正直的議論，事後都把稿子燒掉，所以世人很少知道。凡是他所薦拔的人，都不知薦拔人是誰。
有人認為羊祜這樣謹慎守密太過分了，羊祜解釋說：“話怎能這樣說呢，現在一般人在你跟前促膝談心，像是很親近，一齣門就說假話壞話，所謂君臣之間不守密的訓誡，我怕自己還沒做到呢？身居要位而不薦拔賢才奇人，豈不在知人問題上有愧嗎？況且，被薦舉的人在朝廷受職，而卻到薦拔者私門謝恩，這是我不願意做的。”
羊祜的女婿勸羊祜說：“購置些田產家業，也好卸官後有所歸宿，後事有所依託，這樣不是很好嗎？”
羊祜當時沒有答話，事後告訴子女們說：“這種說法是知其一不知其二。作為人臣，經營私業就違背公事，這是很糊塗的做法，你們應記住我這些話。”
羊祜曾經給從弟羊琇寫通道：“東吳平定之後，我當戴上隱士的角巾，東回故里，經營一個能容棺材的墳墓。一個貧寒之士而至身居重位，怎能不因勢盛氣滿而受指責呢？漢朝的疏廣就是我的榜樣。”
咸寧三年（277年）冬十二月，吳夏口都督孫慎侵入西晉邊界，掠走弋陽、江夏等地上千家人口。羊祜沒有派兵進行追擊。事後，晉武帝司馬炎派人追查原因，並打算移徙荊州的治所。
羊祜說：“江夏離襄陽八百里，等知道吳賊侵犯的訊息，賊已離去幾天了，再派兵去，哪能救護百姓呢？讓軍隊來回奔波，只圖不受責備，這樣做恐怕不合適。從前魏武帝設定都督，大致都與州府接近，因為軍隊宜聚合而忌分散。國境線上一方是敵，一方是我，認真守住邊界就算了，這是古代人有益的教誨。如頻繁遷徙州府所在地，敵人出沒無常，很難確定州府應設在哪裡。”
使者也無法責問羊祜了。
後來，羊祜因擊吳有功，應當增封爵位或食邑。他請求將自己的這份恩賜轉給舅父的兒子蔡襲，於是晉武帝司馬炎下詔封蔡襲為關內侯，食邑三百戶。
咸寧四年（278年）八月，羊祜患病頗劇，力疾求朝，既至都下，晉武帝司馬炎命乘車入視，使衛士扶羊祜進入殿門，免行拜跪禮，賜令侍坐。
羊祜仍當面奏請伐吳，且言：“臣死在朝夕，故特入覲天顏，冀償初志。”
。都留暫，退趨乃祜羊。謀之祜羊從決，諭言好炎馬司帝武晉
”？嗎患後下留是不這，的過越以難是江長，軍大萬百有雖，主君明英立另人吳，去死幸不或皓孫，會機個這過放果如。事盛的逢難代百是這，契稷如猶下臣而，舜堯比可主晉則，教文辦興而下天一統。勝而戰不可吳伐時此，點極到已政暴人吳，世於稱著未尚德功但，名的讓禪有上主今當“：道華張訴告祜羊。祜羊問訪命銜，華張令書中命常，勞多其忍不炎馬司帝武晉
”。了屬莫汝非，志我得來將，事盛吳平見能不恐我“：道噓唏祜羊。贊聲連華張
”。人個這出選慎審能希，人他付託業事未將當應，結完將即生一的我若。居自敢不臣，事的名功於關！啊理治去心上聖要還後之吳平但，加參自親我必不吳取“：道答祜。將諸護臥祜羊使，意己達傳為代華張令復帝武晉。帝武晉告復，教唯唯華張
。歲八十五年，逝而重病祜羊，月一十年同
。代自預杜書尚支度薦舉前終臨在並
。淚落之為也士將邊守國吳；斷不綿連，屬相聲悲巷街，哭痛市罷紛紛，訊死的祜羊說聽日之市集在姓百州荊。冰了結都，面上須鬢到流水淚的炎馬司帝武晉，冬寒值時，哭痛服喪著親炎馬司帝武晉，後死他
。匹百布，萬十三錢，襲一服朝，秘園東“賜；”“為號諡，傅太、中侍為祜羊贈追詔下炎馬司帝武晉，後隨
。地墓作祜羊給賜地頃一的外里十城離將，許不炎馬司帝武晉，旁墓人先在葬求要，願志的生平祜羊述陳炎馬司向等琇羊弟從。材棺置印侯城南將能不，囑終臨，財餘無中家，士軍賜賞，族親濟接來用都祿俸得所，實樸易簡飾服，儉節廉清人為祜羊
。行送祭奠邊南門馬司大的在炎馬司，時發出伍隊葬送及柩靈的祜羊
”。德風高其彰表以，爵封來原復恢現。因原個這是正，節全而讓辭因札季，賢稱而讓辭因齊叔、夷伯，人後勵激能更，存德之讓謙而死雖。強勉可不意此，爵讓辭次多前生祜羊“：說詔下炎馬司帝武晉，見意的祜羊葬安禮侯以願不家其明表氏侯夏妻之祜羊替中表奏在又攸馬司王齊、甥外的祜羊
”！啊聞無沒淹會的說您像才，人之等我於至，世於存永樣一山峴和定一名和績業的好，哲前接道，海四冠德您“：說湛鄒”。的山此登會仍魄魂的我，知有後死如。傷悲人令來想，了聞無沒淹都但，多有知不的樂遊眺山此上登，樣一們你和我像，士高達賢的來以古自，山此有便宙宇了有從自“：說人等湛鄒郎中事從對，息嘆然慨祜羊，次有。倦不日終，詩賦酒飲，樂遊山峴的南城襄到定一，子日的好景風，水山遊喜前生祜羊
。碑淚墮作稱它把此因預杜臣名晉西、者任繼的祜羊，淚流不莫，生碑睹，他拜祭會都姓百的圍周，節時逢每後此。碑公羊稱簡，碑之祜公羊軍將大南徵晉為名原，碑立廟建山峴地之息遊歡喜前生祜羊在地特，他念紀為姓百襄，世後芳流德仁的祜羊
。行孝的顗荀與曾何讚稱文撰經曾玄傅尉校隸司。次三兩過不酬應面見此如，中年一。去出即罷酒飲，酒上後然，拜再面北子妻，坐而面南己自。賓如待相，齊整冠是總，見相子妻與，後之老年。聲求追不，年至年從，謹嚴很也事私房閨，孝極曾何。世逝時同，曾何傅太
。箸下無謂尚，錢萬食一，厚甚奉自，白建所無，充賈臣之附阿惟
。”公繆醜“為號諡議建秀秦此故。廢荒就教禮則否，臣大公王他其剔警以，諡惡以加應都後死但，劾彈被沒時生在他然雖為認，”則軌循不，奢驕資“曾何評批秀秦，號諡的曾何定議禮令下廷朝，世逝曾何公陵朗
。懼恐為甚都後句語的諡議秀秦聞聽但，”公孝“為號諡賜自而，議建的秀秦納采有沒都終最炎馬司帝武晉然雖
。充賈臣權的爭之黨朋興中朝在、髦曹害殺卻臣之魏曹為為前之曾何視鄙都向一秀秦，敵仇如之視至甚，臣佞恨痛分十亦人本秀秦
。言之熹李從不是於帝武晉”。了深益此從，患邊北西恐，能機樹平討他使若？征專可豈淵劉，異必心其，類族我非“：道阻諫恂孔臣侍，能機樹伐討他使，淵劉帥部左奴匈舉推獨，熹李僕，躇躊免未又炎馬司帝武晉，死戰復又，欣楊史刺，敗兵州涼聞聽然忽，吳伐兵舉擬正帝武晉
。門雁居使，王賢右立另，二為部左分，計之艾鄧用師馬司後。強最族部，子之長兄泉廚呼是乃，豹劉帥部左。部五為眾部奴匈分，境州幷居，泉廚呼于單奴匈南命曾，曹祖魏。氏劉姓冒，甥漢稱自，親和朝漢與奴匈南前從。明表為詳不得不，及敘經既，首禍晉西是乃淵劉這
。道孝的淵劉獎褒以，財的用事喪辦來送人派也，事此到聽昶王空司的時當。歎讚之為都人的落部族宗。鄰四哀，絕不哭號樣一人大像就，歲七僅年他，時世去氏延呼。俐伶慧聰分十就自淵劉。淵劉下生）年352（年五平嘉或）年252（年四平嘉魏曹在約大，人奴匈是也氏延呼親母的淵劉。海元字，淵名子之豹劉
。人過力，箭長擅，眾超藝武且並，事武習學又他是於”！啊惜可是真，教立學設能不卻帝文漢佐輔嬰灌、周，侯封功軍建能不而世之國開帝高漢在賈陸、何隨。辱恥的子君是，識廣學博到不做。人於在全，業大創開，下啟上承。治文乏缺嬰灌、周，功武有沒賈陸、何隨視鄙常常，時傳列》書漢《讀我當每“：說隆範、紀朱學同對曾他。說學的家百子諸及》書漢《》記史《覽博能還，外籍典述上習學除，學好勉勤是很淵劉。來出誦背容的籍書些這將以可上大並，》法兵吳孫《和》傳氏左秋春《讀歡喜別特他。典經家儒等》書尚氏馬《》易氏京《》詩《習學，師為遊崔人士黨上拜就自淵劉故，高較度程化漢，地漢在久因，落部奴匈的在所淵劉
。淵劉見拜濟王子其命，友淵劉與襟虛也渾王的氏王原太出。結之與下其居甘，敬崇常非淵劉對是於”。見看次一頭生平，凡非貌形人此“：說失驚大，後淵劉到見在們他說據，稱著面相於善以彧師公人陵襄、之懿崔人留屯。才人表一，偉魁態，長餘尺三鬚鬍，寸四尺八高，淵劉的後年
。淵劉起談炎馬司帝武晉向次屢渾王的尉校騎越為時，後立建晉西到等。遇禮的昭馬司臣權的權政魏曹握掌到便，到剛淵劉，述記》記載海元劉·書晉《據。之奇神有多，歷經的時在他於關。在住居子任奴匈為作淵劉，）年562－年462（間年熙鹹魏曹
”！比相之與法無也磾日金、余由是使即，堂堂表儀淵劉“：說濟王對，興高常非，後談之與，淵劉見召遂帝武晉
”。待可日指，南江定平，伐征吳東對責負他用果如下陛。上之磾日金、余由在遠卻幹才武文的他但，言所上聖如誠，表儀的淵劉“：說答回濟王
”！呢以可麼怎，淵劉助資南江的依憑為險天有以果如。心寒憂擔下陛為且尚下臣，族部其帥統淵劉以。同不然必心其，者同不類族我與。臣稱復不，南江有據將他怕恐，後之吳平則，權威以授若；難事吳平則，馬兵量握掌他讓果如下陛。敵匹之與人無怕恐世之今當到，能才的淵劉察觀下臣“：道言進卻珧楊、恂孔但。然為以深帝武晉
。罷作遂議此，語不然默，後聽炎馬司帝武晉
”。了別永你與，在死能只生今怕恐。楚清你有只點一這，進仕為想不並我。害其深卻，願所之我是不本切一這。生而之隨此因言讒的間離，薦推讚稱帝皇向常，知知深人為的我對，鄉同我與憙李、渾王“：道彌王友好語，息訊知得淵劉
”。安久能不州幷恐臣，淵劉除不下陛“：道帝武晉奏攸馬司，攸馬司王齊知告人有當。涕流歔欷，嘯長酒縱而因
”？呢子侍人殺，疑加故無何奈，俗殊懷義信以方晉大“，道免解淵劉替獨，側在渾王
。山歸虎縱。去而都出，帥部左為淵劉授竟，死豹劉，久多沒，誅不而淵劉釋遂炎馬司主晉
”？虜此平討我為人何“：道嘆且憂且帝武晉，州涼陷攻能機樹聞復而已
”。虜平能決臣，臣任肯若下陛“：道人一出閃班左，畢未言道
”？如何略方卿知未但，任委然當，賊平能卿“：道面介便，隆馬督馬司是乃，去過將瞧炎馬司帝武晉
”。捷報能定，謀制敵臨臣由，略戰問預必不下陛，行西領率，人千三士勇募願臣“：道答隆馬
”？憂何復朕，是如能卿“：道喜大帝武晉
。行辭朝邊一，士勇給分品把，後爭力隆馬，劾彈丞中史遭而滿不隆馬，隆馬給杖的朽腐經已些一給只，怨積有隆馬與令庫武但，杖選庫武到要即隆馬，人百五千三得選時午中到。弓的）斤公62約（鈞四和弩的）斤公832約（鈞六十三起拉能要人的格合，時士勇拔選局設隆馬。隆馬任委意一，聽不帝武晉？士勇募再必何，多已兵現且，信難談妄，將小是本隆馬言多臣廷。守太威武兼，軍將虜討為隆馬命下當
。守拒險據，萬數眾擁等能機樹，水溫過行。發進西向，都出命拜隆馬，資軍年三給許面帝武晉
。重慘亡傷隊部能機樹髮禿，後里餘千軍行。手對擊打效有夠能是於，響影何任無時石磁過經，甲犀穿卻眾部隆馬但；陣石磁於制此故，引吸石磁被會，甲鎧製鐵著穿方對為因，石磁量大置放邊兩路道在又另；倒而弦應紛紛人敵，發虛無箭途沿，進前邊一鬥戰邊一，上車在放屋木設就方地窄狹到，營車角鹿列就方地闊廣到，車箱偏了作製圖陣八依是於，窄狹嶇崎路山見隆馬
。所鎮威武抵直得，人千數虜胡傷殺反，挫一嘗未，里千戰轉，地平同如，兵進險冒隆馬此因。散駭皆均，彀倖僥個幾有，地倒弦應多兵胡。中不無發，四弓挽士勇令並，前且戰且隆馬
。威武達抵全安已他知始，達到使隆馬及，耗音無故，沒陷已隆馬謂或。憂為以頗廷朝晉，報軍見不月幾好，然杳聞音，進西兵領隆馬從自
”。了涼秦無已是，等卿信誤若朕“：道臣群語召朝詰，人知喜自，笑歡掌帝武晉
：道詠詩有。清肅律一，境各涼秦，州涼於首梟殺斬，斫勝乘隆馬被然竟，能機樹寇巨的來以年十，捷大報聞更幾未又，餘萬眾得，人數酋部卑鮮降得擒已，報捷隆馬得又，幾未，吹鼓蓋曲幢赤加，軍將威宣節假為隆馬命加，隆馬勵獎詔降即炎馬司帝武晉。去退慚懷臣群
。專任在功將良，牽拘是忌最兵用
。全安自遇相良明，掃此從氛胡載十
。表再節下看且，賞邀否能眾隆馬竟畢，撓阻來出復又，臣班一上朝偏，賞行功按擬炎馬司帝武晉，平既涼秦
