太祖又認爲有機可乘，集結重兵，以昭義軍節度使李繼勳爲河東行營前軍都部署，侍衛步軍指揮使党進副之，宣徽南院使曹彬爲都監，以伐北漢。另遣彰德軍節度使韓仲贇爲北面都部署，彰義軍節度使郭延義副之，以防遼軍來援。宋軍進展順利，快速合圍太原，太祖親臨城下督戰。宋軍築起長連城圍定太原城，日夜攻打，後又決汾河灌城，但北漢據城死守，幾十日不下。另一方面，何繼筠、韓仲贇等將也擊敗遼帝國援軍，但遼軍此時採取了正確的救援戰略——圍魏救趙，遣大軍突入宋境，宋軍久圍太原不下，只得班師。太祖在開寶初年兩次討伐北漢，當時南漢和南唐都還沒有平定，按照王樸的《平邊策》提出的“先南後北”戰略，不應該急於進伐。而這兩次北伐也沒有作好充分準備，所以都在前期進展順利的情況下不了了之。但太祖也作好了長遠打算，將北漢境內的居民儘量內遷，堅壁清野，又斷絕北漢的商路，弄得北漢凋敝不堪，爲後來宋太宗攻滅北漢打下堅實基礎。可惜平定南方後太祖還沒來得及重新組織北伐就已駕崩，沒能親手翦滅北漢，殊爲可惜。