當李隱從慶州得勝而歸時，已是五月份了，這場平定楊文幹叛亂的戰役，時間都花費在了路途上。
而當李隱剛進入長安城的時候，卻得知了一個不好的消息：河北之地，爆發叛亂了！
竇建德敗亡時，他手下的將領有不少盜竊了倉庫中的財物藏起來，待到河北皆歸降大唐後，許多人都到了民間安居，但許多卻暴虐橫行鄉里，成了老百姓的禍害，大唐的官吏於是將他們繩之以法，有時用鞭子痛笞他們，因此竇建德的舊將領都驚恐不安。
高雅賢、王小胡的家在洺州，打算私下帶着家財逃跑，官吏發兵追捕他們，高雅賢等人於是逃到曹州，投靠了在這裡的範願。
竇建德救援王世充的時候，以範願守衛曹州，鎮守後方，可見對他的信任，範願在竇建德舊部中的威望也是很高的。
範願在接納高雅賢、王小胡後不久，李淵便下詔徵召竇建德的舊將範願、董康買、曹湛以及高雅賢等人，讓他們即日趕赴長安，爲大唐效力。
範願當即召集了竇建德舊部，對他們道：“王世充以洛陽降唐，他的將相大臣王隆、孟孝義等人都遭滿門抄斬；我們如果到長安，肯定也逃不脫。自大業十年以來，我們這些人身經百戰，早就該死了，現在爲什麼還吝惜餘生，而不用有生之年幹一番大事呢？
況且夏王抓住唐的淮安王李神通後，以客人的禮節對待他，而唐捉住夏王后卻馬上殺了他。我們這些人都受到夏王的厚待，現在不替他報仇，以後怎麼見天下的人？”
範願之言落下後，頓時羣雄激憤：
“不爲夏王報仇，吾等羞於爲人！”
“與其去長安送死，不如反了他孃的！”
“反了，反了！”
範願見此，滿意的點了點頭，餘生開始策劃反叛，經過占卜問神後，要以姓劉的人爲首領最爲吉利，於是一同到漳南縣，去見竇建德的舊將領劉雅，將計劃告訴了劉雅。
劉雅卻不願造反，他推辭道：“天下剛剛安定，我正打算在鄉下養老渡過餘生，不想再起兵了！”
衆人聽後都很生氣，又怕計劃被泄露，於是就殺了劉雅。
但殺了劉雅後，範願等人就發起愁來，想要造反，卻找不到人做首領，這真是讓人有些苦惱。
這時，高雅賢忽然拍着大腿道：“夏王的老鄉竇建德的老鄉、漢東公劉黑闥不也姓劉嗎？據我所知，他現在就在這漳南隱居！”
衆將領聽後，便即前去拜見劉黑闥，告訴了他計劃，劉黑闥這時正在種菜，聽了衆人的計劃後，便欣然從命了。
劉黑闥當即殺了耕牛和衆將領一同邊吃邊商定大計，集合了一百人後，率先襲擊並佔領了漳南縣。
十二日，劉黑闥攻陷鄃縣，唐魏州刺史權威、貝州刺史戴元祥和他交戰，均失敗身亡，劉黑闥重新得到他原來的殘部及全部武器裝備。
這時，竇建德的舊部陸續有人前去投奔劉黑闥，劉黑闥擁有了三千人馬，在漳南筑壇，祭奠竇建德，向竇建德的亡魂報告他們起兵的意圖，之後，劉黑闥自稱大將軍。
隨後，劉黑闥又率軍隊攻陷歷亭縣，捉住了大唐的屯衛將軍王行敏，讓他行禮，王行敏拒不參拜，於是被劉黑闥所殺。
當時，各道如若有戰事就設置行臺尚書省，無戰事就停罷，唐朝廷得知劉黑闥作亂，於是在洺州設置了山東行臺，在魏、冀、定、滄等州都設置了總管府。二十二日，李淵任命淮安王李神通爲山東道行臺右僕射，主持討伐劉黑闥之事。
之後，李淵還下詔調發關中三千步騎兵，由將軍秦武通、定州總管李玄通率領，協助李神通攻打劉黑闥，又下詔命幽州總管羅藝帶兵合力攻劉黑闥。
當初，洛陽平定後，徐圓朗請求投降，被李淵授爲兗州總管，封魯郡公，劉黑闥反叛後，秘密地與徐圓朗聯繫。
六月二十六日，當李淵命的葛公盛彥師去安撫河南，走到任城的時候，徐圓朗派兵逮捕了盛彥師，起兵反唐並奉劉黑闥爲主。
劉黑闥以徐圓朗爲大行臺元帥，兗、鄆、陳、杞、伊、洛、曹、戴等八州的豪強均起兵響應徐圓朗，一時間，安定才半年左右的中原、河北之地，再次烽火連天。
徐圓朗對盛彥師極其優待，讓盛彥師寫信給他的弟弟，命他以整個虞城投降。
但盛彥師卻在信中寫道：“我奉命出使未能稱職，被賊人俘虜，作爲臣子不忠，立誓赴死；你好好奉養老母親，不要牽掛我。”
徐圓朗看過盛彥師後，立即變了臉色，而盛彥師神色自如，徐圓朗於是笑了，“盛將軍很有膽量氣節，不可殺。”接着還如原來一樣對待盛彥師。
河南道安撫大使任瑰走到宋州，恰好遇徐圓朗反叛，副使柳浚勸任返回汴州自守，任瑰笑着說：“柳公膽子怎麼這麼小？”
徐圓朗又攻陷了楚丘，帶兵準備圍攻虞城，任瑰派部下將領崔樞、張公謹從鄢陵率領各州豪強作人質的子弟一百多人去守衛虞城。
柳浚說；“崔樞和張公謹原來都是王世充的部下，各州人質的父兄也都反叛了，這一去恐怕會叛變。”
任瑰沒有作答，繼續讓崔樞和張公謹帶兵出發。
崔樞到虞城，分派人質讓他們和本地人混合編隊共同守城。叛軍逐漸逼近，有人質反叛的，崔樞就殺了他們的隊長。
於是各個隊長都害怕，紛紛殺了隊裡的人質，崔樞也不禁止，將人質的頭割下掛在城門外，並派人告訴了任瑰。
任瑰假裝很生氣地道：“我所以讓人質一起去，是打算用來招降他們的父兄，他們有什麼罪而要殺了他們？”
任瑰退下後卻對柳浚道：“我早知道崔樞能這麼做。虞城縣人既然殺了人質，加深與叛軍的仇恨，我還擔心什麼呢？”
徐圓朗的叛軍攻打虞城時，虞城軍民拼死防守，所以叛軍果然如任龜所料未能攻克而撤走。