對於羊祜的這些作法，陸抗心中很清楚，因此，在很長的一段時間裡，晉、吳兩國的荊州邊線處於和平狀態。
羊祜與陸抗對壘，雙方常有使者往還。
陸抗稱讚羊祜的德行度量，“雖樂毅、諸葛孔明不能過也”。
一次陸抗生病，向羊祜求藥，羊祜馬上派人把藥送過來，並說，“這是我最近自己配製的藥，還未服，聽說您病了，就先送給您吃。”
吳將怕其中有詐，勸陸抗勿服，陸抗不疑，並說，“羊祜怎會用毒藥害人呢？”
仰而服下。
當時人都說，這可能是春秋時華元、子反重見了。
吳主孫皓聽到陸抗在邊境的做法，很不理解，就派人斥責他。陸抗回答，“一鄉一鎮之間，不能不講信義，何況一個大國呢？如我不講信義，正是宣揚了羊祜的德威，對他毫無損傷。”
孫皓無言以對。
…… ……
咸寧二年(276年)十月，司馬炎改封羊祜爲徵南大將軍，恢復其貶降前的一切職權，開府儀同三司，可以自行辟召僚佐。當初羊祜便認爲，要想伐吳，必須憑藉長江上游的有利地勢。
經過七年的練兵和各項物質準備，荊州邊界的晉軍實力遠遠超過了吳軍，而兩年前吳軍主帥陸抗病死，吳國境內又因爲吳主孫皓的高壓統治使各種矛盾日益激化。這表明晉滅吳的條件和時機已經成熟。
羊祜不失時機的上疏請求伐吳，奏上歷史有名的《請伐吳疏》，白話翻譯，達一千多字，不遜於《出師表》，有興趣的哥們兒，可找來一讀。
奏疏得到了司馬炎的肯定，卻遭到了朝內其他大臣的反對，權臣賈充、荀勖（xù）、馮紞（dǎn）等人的態度尤爲激烈。他們提出西北地區的鮮卑未定，不應該兩線作戰。只有度支尚書杜預、中書令張華等少數人贊同。
羊祜嘆道，“天下不如意的事總是十有七八，目前有些人當斷不斷，當予不取，怎能不讓以後的有識之士引爲遺憾!”
…… ……
咸寧三年(277年)，司馬炎下詔封羊祜爲南城侯，設置相的官職，與郡公同級。羊祜堅意不接受這次加封，司馬炎也就答應了。
羊祜每次被司馬炎提拔封賞，常持恬淡退讓態度，至誠之心世人皆知，他的德操志趣，往往不在官職的行列等次上。所以英名美德傳播遠近，朝野上下有目共睹，朝中大臣議論，羊祜應居宰相之位。
司馬炎將東南軍政要務託付給羊祜。
羊祜任職歷魏晉二朝，掌握國家機要，重大舉措，都要向他諮詢。他所獻的好計謀和正直的議論，事後都把稿子燒掉，所以世人很少知道。
這時，就有人到他的家裡給他送禮，讓他幫着向朝廷舉薦自己，一度踏平檻石，往來如蟻。他也爲此飄然。
他的母親孔老太太（孔融的女兒）這時還健在，她勸羊祜，“在朝爲臣有舉薦賢士之責，然，賢士不以金帛求取仕途；反之，均爲利己小人爾。你要淨心拭眼，不可貽誤朝綱。”
羊祜這才頓開茅塞，對舉薦人才分外小心，對於那些貓頭鼠眼，不壞善意的勢利小人，一概拒之門外；對那些賢士人才，他會拼力舉薦，凡是他所薦拔的人，都不知薦拔人是誰。
羊祜的女婿勸羊祜說，“購置些田產家業，也好卸官後有所歸宿，後事有所依託，這樣不是很好嗎？”
女婿的話，聽上去，沒有什麼錯，羊祜無話可說，但是，當時在場的姐姐景獻皇后羊徽瑜反駁說，“這種說法是不對的。作爲人臣，經營私業就違背公事，這是很糊塗的做法，你們不應有這種想法。”
羊祜討伐孫吳有功，應當增封爵位與封地，於是請求皇帝將自己應增的爵位封地賜給舅父的兒子蔡襲，於是晉武帝下詔封蔡襲爲關內侯，食邑三百戶。
…… ……
同年冬十二月，吳夏口都督孫慎侵入西晉邊界，掠走弋陽、江夏等地上千家人口，羊祜沒有派兵進行追擊。事後，晉武帝派人追查原因，並打算移徙荊州的治所。
羊祜說，“江夏離襄陽八百里，等知道吳賊侵犯的消息，賊已離去幾天了，再派兵去，哪能救護百姓呢？讓軍隊來回奔波，只圖不受責備，這樣做恐怕不合適。從前魏武帝設置都督，大致都與州府接近，因爲軍隊宜聚合而忌分散。國境線上一方是敵，一方是我，認真守住邊界就算了，這是古代人有益的教誨。如頻繁遷徙州府所在地，敵人出沒無常，很難確定州府應設在哪裡。”
使者也無法責問羊祜了。
…… ……
咸寧四年(278年)八月，羊祜染病，請求入朝。返回洛陽正逢姐姐景獻皇后羊徽瑜去世，羊祜十分悲痛，病情更加嚴重。司馬炎下詔，命他抱病入見，並讓他乘坐輦車上殿，不必跪拜，備受優禮。羊祜則再一次向司馬炎陳述了伐吳的主張。
後來羊祜病重不能入朝，晉武帝專門派中書令張華前去諮詢方略，羊祜對張華說，“吳人暴政已到極點，此時伐吳可不戰而勝。如果放過這個機會，孫皓或不幸死去，吳人另立英明君主，雖有百萬大軍，長江是難以越過的，這不是留下後患嗎?”
張華很讚賞羊祜的主張。
羊祜又對張華說，“能實現我這個願望的是你啊!”
司馬炎打算讓羊祜臥病統領徵吳諸將，羊祜說，“取吳不必我親自參加，但平吳之後還要聖上操心去治理啊!關於功名的事，臣不敢自居。若我的一生即將完結，應當將未成事業託付他人，希望能審慎選出這個人。”
同年十一月羊祜病逝，享年五十八歲，並在臨終前舉薦杜預自代。
…… ……
羊祜死後，舉天皆哀。司馬炎親着喪服痛哭，時值寒冬，司馬炎的淚水流到鬢須上都結成了冰，追贈羊祜爲侍中、太傅，持節如故。
荊州百姓在集市之日聞之羊祜的死訊，罷市痛哭，街巷悲聲相屬，連綿不斷；吳國守邊將士也爲之落淚。可惜羊祜無子，以兄發子篇奉祜嗣。
晉滅吳的戰爭結束了漢末以來長期的分裂割據狀態，使中國重歸一統。羊祜雖然沒有親自參加這次戰爭，但他爲規劃、準備這場戰爭作出了不可磨滅的貢獻。
羊祜死後二年，杜預按羊祜生前的軍事部署一舉滅吳，完成了統一大業，當滿朝文武歡聚慶賀的時候，司馬炎手舉酒杯，流着眼淚說，“這是羊太傅的功勞啊!”。