开始的时候，六部叫做六曹，即六个办事机构。六部的长官为尚书。六部的设置成为后代封建国家中央政权的固定制度。三省六部制分工明确，组织严密，加强中央集权。对唐及以后历代王朝影响都十分巨大。隋文帝建立的这一整套规模庞大、组织完备的官僚机构，表明封建制度已发展到成熟阶段。自隋定制，一直沿袭到清朝。
简化地方官制。隋初，杨坚在确立了三省六部制的中央机构后，又对地方机构进行了改革。南北朝以来，由于郡县设置过繁，形成了“民少官多，十羊九牧”的局面。隋初沿北齐、北周制设州、郡、县三级地方机构，开皇三年，杨坚采纳河南道行台兵尚书杨尚希提出的“存要去闲、并大去小”的建议。
将原来比较混乱的地方官制从州、郡、县精简为州、县两级，撤消境内500多郡。同时，裁汰了大量的冗官，将一些郡县合并。大大节省了政府的开支，提高了行政效率，也减轻了人民的负担。为了更好地行使权力，控制地方，杨坚下令，九品以上的官员一律由中央任免。
官吏的任用权一概由吏部掌握，禁止地方官就地录用僚佐。而且每年都要由吏部进行考核，以决定奖惩、升降。后来，又实行三年任期制。创立科举制度。杨坚简化了地方行政机构，废九品宫人法，初创科举制。隋文帝命令各州每年推选三个文章华美、有才能的人，到中央受官。
后来，隋文帝又下令，京官五品以上，地方官部管刺史，要由有德有才的举人担当。这种选拔政府官员的制度，使各个阶层有才华的人都有机会为政府效力。杨坚开创建立的科举制度，始于大业元年（公元605年），盛于唐太宗时期，此后一直在中国历史上留存长达1300多年，直到清朝末期才废除。
