建安二十一年（216年），曹操再徵孫權。
軍到合肥，曹操循行視察昔日張遼作戰的地方，讚歎良久。於是給張遼增兵，多留諸軍徙屯居巢。
曹操攻濡須口，孫權請降，留夏侯惇（dūn）、曹仁、張遼等屯居巢。
…… ……
關羽圍曹仁於樊城，適時孫權稱藩於魏，爲了讓孫權安心攻打荊州，於是，曹操召張遼及諸軍悉數回救曹仁。
張遼尚未到達，徐晃已經打敗關羽。張遼便與曹操會師摩陂，曹操乘車出來慰勞他，並派他屯於陳郡。
在陳郡，張遼又在當地納了兩房妾室，一個沒生養，另一個只給他生了一個女孩。女孩兒，史籍沒留下名字，地方誌說其女夭折。
…… ……
曹操去世，曹丕即位魏王，改遷張遼爲前將軍，分封其兄張汛及一子爲列侯。
不久，孫權再叛變，張遼還屯合肥，並進爵都鄉侯。
曹丕賜輿車予其母以示榮寵，並派兵馬送其家人到他駐軍的地方，又預先在當地告示張遼家人將要到臨，命令所有守軍出迎，衆軍士將吏都列隊出候拜迎張遼家人，看見此景的人均認爲這是十分榮耀的事。這次，曹丕把張遼流散在其他城市的女人，一併收攏，送到合肥居住。
…… ……
同年，曹丕稱帝，再封張遼爲晉陽侯，增邑千戶，並前二千六百戶。
黃初二年（221年），張遼到洛陽皇宮朝拜，曹丕便引張遼會晤於建始殿，親問其昔日破吳時的情狀。
張遼述說過後，曹丕向左右嘆息道：“簡直是古代的召虎啊（召虎即召公，是與方叔、尹吉甫、秦仲等齊名的東周大將。他因平淮夷所以被曹丕借作比喻）。”
於是，爲張遼建造屋舍，替其母興建殿室，當年跟從張遼突破吳軍陣營、臨時應募的一衆步卒，都被封虎賁，把張遼的地位已經升至極致，無以復加。
張遼在軍中，更是一呼百應，無人不從。
黃初三年（222年），孫權再次向曹魏稱臣。
張遼奉命還屯雍丘，卻在此得病。
曹丕遣侍中劉曄帶着太醫審視其疾，並令虎賁衛士們往來傳達張遼病況，爲張遼問病的使者經常在路上互相遇見。
樑章巨《三國志旁證》中提到“漢三公病，遣中黃門問病。魏、晉則黃門郎，尤重者或侍中。（張）遼位未至公，而遣侍中，蓋寵之也。”
可見曹丕如何重視張遼。
張遼之疾久未痊癒，曹丕命人把他接到自己的行營，自己則車駕親臨，握着他的手，賜給他御衣，太官每天來送御膳。
病情稍有好轉後，張遼便返回其屯軍之所駐軍，不驕不躁，忠於職守，盡人臣之狀。
正當其時，孫權再次背叛曹魏，曹丕派張遼乘舟，與曹休到海陵臨江駐防。
孫權知張遼至此，甚爲忌憚，敕令諸將道：“張遼雖然抱病，但仍是勇不可當的，千萬要謹慎在意！”
同年，張遼與諸將同破吳將呂範。
但他的病情卻也日漸嚴重，最後終於在江都逝世，一代名將就此隕落。
曹丕爲之流涕，諡曰剛侯。其子張虎嗣任其爵。
…… ……
黃初六年（225年），曹丕追念張遼、李典在合肥之功，下詔曰：“合肥一役中，張遼、李典僅以步卒八百人，破賊十萬之衆，自古用兵，未見如此。他們使賊衆至今仍氣爲之所奪，真可謂國之爪牙。現分封遼、典邑各百戶，賜一子爵關內侯。”
正始四年（243年），張遼得享從祀於曹操廟庭。
歷任官職：郡吏，騎都尉，魯相，中郎將，關內侯，裨將軍，行中堅將軍，蕩寇將軍，徵東將軍，前將軍，內朝官，亞於車騎、驃騎大將軍。
遼有一兄長，名爲張泛，在魏國因爲張遼之功而被封侯（曹丕即王位文帝時，張遼轉封前將軍。朝廷分封其兄張泛及一子列侯）。
子孫：
張遼有一子名張虎，張虎有一子名張統，也就是張遼的孫子。
…… ……
當年關羽投於曹操營下，張遼與關羽爲好友，曹操便派張遼問關羽去留之心，關羽表明只會跟隨劉備，張遼想到如果照實說給曹操，怕曹操殺關羽。但不說，又不是事君之道，便嘆息：“曹公，是如父親般的君上；關羽，是兄弟而已。”
最後選擇了照實說給曹操。此舉被後世認爲是爲臣下者懂分輕重、能識大體的表現，如南朝宋左僕射劉穆之曾說：“我蒙公（指劉裕）恩，義無隱諱，此張遼所以告關羽欲叛也。”
尚書右僕射何尚之亦曾言：“臣思張遼之言，關羽雖兄弟，曹公父子，豈得不言？”
…… ……
張遼曾與護軍武周不和，後來受胡質勸解，便與武周和好。與李典、樂進等雖然有不和，但在面對東吳大軍之際，同樣能不計前嫌。
張遼的軍事表現受歷代所尊崇。唐代李翰所撰《蒙求》中有“張遼止啼”一語。
建中三年（782年），禮儀使顏真卿向唐德宗建議，追封古代名將六十四人，併爲他們設廟享奠，當中就包括“魏徵東將軍晉陽侯張遼”。同時代被列入廟享名單的只有關羽、張飛、周瑜、呂蒙、陸遜、鄧艾、陸抗而已。
及至宣和五年（1123年），宋室依照唐代慣例，爲古代名將設廟，七十二位名將中亦包括張遼。在北宋年間成書的《十七史百將傳》中，張遼亦位列其中。另外，日本俗語中有所謂“遼來來（遼來々）”一語，正是來自張遼止啼的典故。
…… ……
墓址：
張遼墓位於安徽省合肥市逍遙津公園內湖中島上，爲衣冠冢，現存墓冢，張遼陳列館、***和渡津橋，園中有張遼持刀立馬的青銅塑像。
另外，據《宋高僧傳•卷十•唐揚州華林寺靈坦傳》載：“元和五年相國李公墉之理廣陵也……召居華林寺，寺內有大將軍張遼墓。”此段記載則稱張遼墓位於廣陵（今揚州市廣陵區）一帶的華林寺內。