尚书省是国家最高行政机关，其下设吏部、礼部、兵部、都官、度支、工部6部。每部设尚书为长官。尚书令下有尚书左、右仆射各一，左仆射分管吏、礼、兵三部事，右仆射分管度支、都官、工部三部。这样不仅加强了中央集权，而且开创了中国封建社会三权分立体制的新阶段。
其次，简化地方行政机构。南北朝时期，地方纷乱，各自为政，州、郡、县三级政区极其混乱，统治者为了让自己的亲戚朋友能当官，不惜滥增行政机构，地无百里，数县并置;户不满千，二郡分领。至隋初，全国竟有241州、608郡、1524县，合计有2373个县以上行政建制。
鉴于这种民少官多、十羊九牧的弊病，本着存要去闲、并小为大的原则，隋文帝于开皇三年大刀阔斧进行机构改革，通过废郡，实行州县两级制，以州辖县，同时又省并了一些州县。隋炀帝大业三年，改州为郡，把州县制恢复为秦汉的郡县制。
至隋炀帝时，全国已精简地方机构达40%，仅存郡190，县1255个。在精简行政机构的同时，隋文帝还严格实行定编定岗：上上州官吏的编制为323人，到下下州递减为167人;上上县官吏编制为99人，到下下县递减为49人。这不但大大节省了国家开支，减轻了百姓负担，而且提高了行政效率，加强了中央对地方的控制。
再次，废除酷刑，修订《开皇律》。对前代81条死罪、150条流罪、1000余条徒、杖等酷刑以及灭族等恶法，都一概废止，大大减少了法律的残酷和野蛮性，在中国法制上具有划时代意义。
第四，继续实行均田制度。隋初，在前朝均田制的基础上，隋文帝规定：丁男、中男受露田(种植五谷)80亩，永业田20亩，妇女受露田40亩。露田在受田者死后归还，永业田则无须归还。对一般农民，实行轻徭薄赋鼓励农桑的政策;对于豪强贵族兼并土地的行为，则给予打击。从而提高了农民的生产积极性，增加了国家赋税收入。
第五，设置义仓赈济饥民。隋文帝所设的义仓，又称社仓，设置于乡间，其储粮由百姓捐纳，以备饥荒时赈济灾民。而且明确规定民户捐粮于社仓的标准：“上户不过一石，中户不过七斗，下户不过四斗。”一般百姓都捐献得起，对穷苦百姓是一项有效的社会保障。
第六，建立科举选士制度。隋以前，门阀世族垄断朝政。隋文帝实行科举选士制度，重才学而不重门第，虽庶族寒门，只要有才能也有机会当官。这种“任人唯贤”的改革，削弱了门阀大族世袭特权，对后代影响很大。
隋与秦相似，对统一中国，改革和开创各项事业都曾作出过开创性的贡献，但由于他们的改革力度过大，不但触犯了诸多方面的利益，而且超越了民心国力的承受能力，以至于都成了短命的过渡朝代，秦代仅15载而亡，隋代亦仅有国37年而已。
