北魏自孝文帝大規模漢化之後，統治階層中不願意漢化的鮮卑軍事貴族，出現了強烈的反彈，最後北魏分裂，形成東西兩部分。西部統治者宇文氏建立北周政權，最終統一了北方。宇文氏的成功在於，既保持了鮮卑人的戰鬥力，比照鮮卑人原來兵牧合一的軍事組織，建立府兵制，同時力求保持鮮卑的簡樸作風，甚至恢復原來鮮卑人的鮮卑姓，強令進入軍隊的漢人改鮮卑姓，呈現出鮮卑化的跡象。但是，另一方面，他又模仿西周官制進行改革，恢復六官制，力求製造直接承襲華夏正統的印象。而且，經過改造的府兵制，逐漸剝奪了各府將軍的掌兵權，將府兵直接置於皇帝控制之下。就這樣，在漢化與鮮卑化之間走鋼絲的宇文氏獲得了成功。但是，走鋼絲維持不偏不倚相當困難，周武帝以後，繼承者滑向了鮮卑化的一邊，結果激起了已經勢力很大的漢人普遍的不滿。身爲外戚和勳臣的楊堅，乘機代周而立，建立了隋朝。
隋朝的開創者對於制度建設從建國伊始，就表現出空前熱情，顯示出新朝氣象。
首先，恢復並且健全了三省六部的中央機構，確立了中書省（時稱內史省）草詔、門下省審覈、尚書省執行的三權分立制衡機制。尚書省各部分工也進一步明確和固定。經過一個不長時間的過渡，形成了吏部、禮部、兵部、刑部、民部和工部的六部行政部門，每部下轄四個司，六部共二十四司。各部所轄的司，均跟本部事務相關，形成一個整體。隋朝在那個時代，應該是世界上分工最明晰的政府。後來的唐朝，只是將民部的名稱改爲戶部，除此以外沒有任何變化。三省六部進一步確立之後，原屬九卿範圍的各個監寺的地位繼續下降，淪爲可有可無的輔助性機關。這樣的六部與監寺格局，奠定了此後官僚制帝國的基本行政架構。這種架構一直延續到了清朝末年，才被從西方引進的新式現代政府體制所取代。
其次，隋朝整理了魏晉以來混亂的地方區劃，廢除了所有的僑立州郡，將州、郡、縣三級改爲州縣兩級。改革後的州比秦漢時的郡還要小，進一步削弱了地方勢力，以便於中央管理，但也使得地方區劃過小，難以形成自主性。
其三，隋朝開創了科舉制，這是官僚體制的最大轉變之一。隋文帝楊堅雖然廢除了九品中正制，但卻回到了漢代地方推舉的老路上，這實際上已經行不通。隋煬帝楊廣，雖然被正史譏爲空前的昏君和暴君，但在制度創新上，卻有獨到之處。正是他開創了考試取士的新制度。隋煬帝登基不久，就下令十科舉人，其中就有“文才秀美”一科，而且是最爲隋煬帝所看好的。隨後2十科減爲四科，還是有“文才秀美”科，即進士科，進士科的取士，以考策論爲主，考試在中央政府舉行。漢代實行察舉制的時候，也有考試，但是取捨主要依靠地方推薦，考試只是輔助手段（實際上，就是九品中正制下，世族子弟爲官者也要多少顯示一點文才才行），而科舉制雖然也要靠地方推薦，但考試卻是取捨的主要手段。從此，中國選舉制度開闢了以考試作爲人才取捨主要標誌的科舉時代。當然，南朝末年整個士林雅好文章辭賦，蔚成風氣，影響到北方。上流社會以文采相尚，也對以文選人的選舉制度的產生有促進作用。隋煬帝本人也具有相當的文才。據說，他曾經誇口說，就是跟士大夫們比文才，他也應該做皇帝的。有幾個比他詩做得好的大臣，都被他藉故殺掉了。這雖然表現了他的殘忍，但也說明他的確非常重視文才。這也爲後來整個社會重視詩歌、重視進士科的風氣開了頭。
隋煬帝愛做詩文，但有人超過他，就感覺不快。司隸薛道衡有佳句過之，遂尋事殺之。薛死後，煬帝還恨恨地說，看你還能作“空梁落燕泥”不？隋煬帝一次作《燕行歌》，令諸文士和之，著作郎王胄之作與煬帝不相上下，由此被嫉恨，王胄居然因此丟了命。王被害之後，煬帝也恨恨地說：“庭草無人隨意綠”這樣的詩句你還能寫嗎？（劉餗：《隋唐嘉話》上）
其四，隋朝完善了府兵制，建立健全了掌管與訓練府兵的折衝府。在中央一級設置十二衛分管兵府，使寓兵於農的府兵體制更加制度化。
其五，隋朝整頓了長期以來混亂的律法。本着從輕的原則，刪繁就簡，制定《開皇律》，共有名例、衛禁、職制、戶婚、廄庫、擅興、賊盜、鬥訟、詐僞、雜律、捕亡、斷獄等12卷。這部法律廢除了車裂等酷刑，而且將死刑終審權收回中央，死囚須經大理寺複覈才能執行。後來影響很大的唐代《貞觀律》、《永徽律》，實際上都是《開皇律》的修訂。其法律精神一直延續到清代。
最後，隋朝還開始着手重建禮制，清除北方少數民族統治的痕跡，比如恢復漢姓，恢復漢族文化習俗。其中，最重要的是恢復禮制。實際上，北方少數民族政權除了極個別以外，大多都有自己的禮儀規矩，但是隋朝以繼承漢人正統自居，故而強調要恢復周禮。但實際上，據陳寅恪先生研究，隋朝甚至後來的唐朝所實行的，不過是南朝禮儀和北齊禮儀的複合體。
隋朝雖然完成了大多數制度的創制工作，但是，由於隋煬帝這個精力過於旺盛、卻又少不更事的年輕皇帝的緣故，結果像秦朝一樣，二世而亡。顯然，作爲一3個以農業爲經濟基礎的國度，儘管幅員廣闊，國力強盛，但如果一味地大興工程，盲目地對外開戰，還是很快就會耗盡國力的。好在繼起的唐朝幾乎完全繼承了楊家開創的制度遺產，並使之發揚光大，在政策上又刻意避免了前朝之失，結果成就了歷史上的盛世。