除此之外，曹操恨朱靈，還有一個原因。
朱靈在袁紹手下時，他家鄉清河的季雍以鄃地背叛了袁紹而投靠了公孫瓚，公孫瓚也派出軍隊協助季雍守城。袁紹命令朱靈前往攻打，但朱靈的家人都在城中，公孫瓚便將朱靈的母親、弟弟都綁在城上，以此來誘降、要挾朱靈。朱靈望着城哭泣說：“大丈夫一出身爲人效力，豈會再顧全家室呢！”於是力戰攻陷鄃城，生擒季雍，然而朱靈一家都被殺害。
這件事情有可能影響了朱靈一生，不知道當初袁紹讓朱靈攻打自己的家鄉是什麼用意，但朱靈不顧家人的安危卻是一把雙刃劍，一方面，他證明了自己的能力與忠貞；另一方面，他也留下了“不愛自己的親人也就不會愛他人”的嫌疑。三國時代，畢竟不是一統天下，在孝與忠的問題上，孝的概念沒有改變，而忠的指向有時候並不是那麼十分的明確，這恐怕就是影響朱靈的原因，就像那個馬超，他放到任何一個諸侯那裡都是一個非常需要的能戰大將，但張魯不用他，劉備在得到漢中後也將他閒置，原因很明確，就是他關中叛亂時，不顧全家都在曹操手上而執意造反，結果導致全家被殺。曹操是個多疑之人，有了馬超的例子，他能不對朱靈多想嗎？
朱靈是在袁紹極爲強盛、曹操尚且龍潛之時，看穿袁紹的弱點、相中曹操的優點，在僅僅見了一面之後就果斷背棄袁紹，投奔曹操，這種決斷，不是大忠，就是大奸。而且，朱靈曾爲舊主袁紹毀家紓難在所不辭—公孫瓚以朱靈母弟置城上而誘降，朱靈直接一句“丈夫一出身與人，豈復顧家耶！”，發兵攻城，城破而母弟俱亡，這樣的狠人，是劉邦之流啊。而且，朱靈爲袁紹毀家紓難，但是轉眼就可以背叛袁紹，這豈止是狠辣無情，這是標準的“曹操、劉邦”的翻版，曹操作爲自古奸雄樣板，這一個同類環伺左右，他能放心嗎？況且，朱靈不是無能之輩，陳壽對其評價是“靈後遂爲好將，名亞晃等，至後將軍，封高唐亭侯。”，是僅次於五子良將的存在，智勇皆有，又具奸雄氣質，曹操怎能不忌憚。
曹丕當皇帝后，封了朱靈一個鄃侯，還說是讓他“衣錦還鄉”，但朱靈卻說：“高唐，是我多年的宿願。”曹丕於是又改封他爲高唐侯。鄃地除了是朱靈的傷心地，同時也是他的遭人忌諱之地，也許朱靈自己也明白了是個打醬油的角色，被剝奪兵權後，也就認命了，這樣反而讓他得以善終。
這一世，魏延有了種子神器，能夠看透將領的忠誠度，所以對朱靈倒沒有那麼多避忌，可以大膽地委任。
魏延之所以委任徐晃爲護匈奴中郎將，是因爲徐晃此前身在河東郡，跟匈奴人有過交集，是魏延麾下所有將領裡面唯一通曉遊牧民族作戰方法的。
徐晃並不辜負魏延的厚望，他跟朱靈一道，領着一萬戰兵和一萬輔兵，悄悄渡過文水，朱靈先領二千騎兵扮作獻俘的匈奴騎兵，拿着從劉豹這裡繳獲的令牌，詐開離石城，徐晃都督其他人馬緊隨其後，輕取離石城，隨後又以迅雷不及掩耳之勢，輕取離石城附近三個縣城。
被魏延扶持着登上大單于的寶座，劉豹表面上感恩戴德，但在心底深處並沒有半點感激，他十分清楚魏延的心思，是想進一步削弱他們匈奴人的勢力。
匈奴現在分裂成十八個部落，部落跟部落之間各有紛爭，有些大部落內部的各個姓氏之間也有紛爭，這樣的場面是東漢朝廷在這一百多年間的蓄意爲之，因爲這樣四分五裂毫不團結的匈奴不會對大漢有如同冒頓時期的威脅，而且這匈奴各部在邊郡駐紮，可以幫大漢抵擋那日漸崛起的鮮卑。
魏延的心思，跟劉秀之後的東漢帝王們一般無二。
動用漢人的軍隊來對匈奴人滅族貌似容易，但彪悍的匈奴人一旦被逼入絕境，亦能煥發出遠勝往昔的戰力，漢人軍隊對付他們，沒準是滅敵一千自傷八百，等把匈奴人滅完了，門外還有更強大的鮮卑族。
基於這樣的考慮，魏延還是把匈奴人暫且留着，經過魏軍的嚴格身心兩處的訓練，匈奴人會是魏延手裡的好獵犬，好去對付鮮卑這頭惡狼。
鮮卑人在擅石槐時期把匈奴人欺負得夠嗆，如果魏延能把匈奴人的血性調動起來，去搞鮮卑人，讓他們自相殘殺，漢人便可得漁翁之利。
魏延這樣的心思，能夠瞞得過一般匈奴人，怎能瞞得過劉豹這個狡猾無比漢化程度很高的鮮卑貴族。
劉豹感到很是悲哀，雖然他明知道魏延有這樣的心思，他卻無可奈何非要鑽進魏延這個圈套，因爲他覺得自己的能力遠勝過叔父呼廚泉，他不甘心做完呼廚泉的副手以後還要再做呼廚泉兒子的副手，現在有一個絕好的掌控匈奴的機會擺在他的面前，他不能白白把它錯失掉。
劉豹看得出，魏延覺得鬆散的匈奴沒有戰力，想把匈奴各個部落的力量聚合在一起，好去對付北邊的鮮卑，劉豹是樂觀其成，他心裡暗想，你魏延把匈奴各個部落聚合在一起，讓我們匈奴人給你賣命，算盤打得很響，可我劉豹也不是任你擺佈的傀儡，等你把匈奴一統以後，你魏延就會發現，你是白白爲我做了嫁衣。
劉豹心裡想到那裡，便對魏延諸多針對呼廚泉和其他匈奴部落的軍事行動，不但不阻攔，反而積極配合，他的樣子不禁讓魏延想起了當年的汪精衛。
剛想起那個漢奸，魏延就啞然失笑起來，劉豹若是汪精衛，他魏延豈不成了那讓千萬國人痛恨的鬼子了，這個比方太不恰當了。
劉豹看魏延表情怪異，好似苦笑，便做出諂媚的樣子：“文長公，不知您可有什麼煩惱，小王能否爲文長公分憂？”
魏延見劉豹的無恥舉止，皺着眉頭說道：“大單于，我希望我們漢人、匈奴人能夠世世代代友好下去！”
劉豹儘量遏制住自己心裡的憎恨，強顏歡笑道：“請文長公放心，我匈奴永遠是大漢忠實的僕人！”