在地方组织方面，隋唐时期有重大变化。西周初期，受封诸侯可谓周朝的地方长官，但其又不同于秦以后的地方长官，因为他可以在封国内仿照王室的官僚制度设置百官有司。春秋战国时期，一些国家在边远或兼并之地设置郡、县，派官吏进行管理，开始产生真正的地方长官郡守和县令。秦始皇统一中国后，实行郡县制，建立起真正意义上的中央集权。汉代地方长官也是郡守和县令两级，而在京师设京兆尹、左冯翊、右扶风三种官职，称为三辅，相当郡守。汉武帝时，设十三部州刺史，为监察官性质。成帝时改称“牧”，成为事实上的一级行政区域。这种县令、郡守、州牧三级地方长官体制，一直通行于魏晋南北朝时期。
至隋文帝，改行州、县两级制，废去了郡的建置，并合并了不少州、县。经此调整，裁除了大批冗官，行政区划简明。在州、县属吏的任用方面，隋文帝又废除了秦汉以来地方官就地自聘僚属的旧制，规定凡九品以上的地方官吏，一律由吏部任免，并每年进行考核，即所谓“大小之官，悉由吏部；纤介之迹，皆属考功”。又规定州、县佐官要3年一换，不许重任，而且必须选用外地人，本地人不得就地为官。这些措施简化了地方的行政机构，把任免地方官属之权收归中央，有利于打破旧有的地域观念，强化中央对地方的控制。
唐代又设道，犹如汉初设州，作为对诸州的监察区，道的长官为观察使。唐代还在边镇地区设都督府，长官为都督，后称节度使。唐中期节度使制度行于内地，节度使又兼州刺史之职，手握军、政大权，成为权势显赫的地方长官。李林甫为相时，专任蕃人为大将，这些人多不识文字，便可解除“出将入相”之忧了。但他没有想到，此后这却成为藩镇闹事的祸根。安禄山初为边将，后靠行贿送礼、献忠取媚得平卢节度使、范阳节度使、河东节度使。“禄山恃此，日增骄恣。尝以曩时不拜肃宗之嫌，虑玄宗年高，国中事变，遂包藏祸心，将生逆节。”此后节度使作乱遂为常事，唐也由最初的良策后因宰相的偏私而终遭祸乱，并由此酿成大势导致唐朝灭亡。
唐代前期对州、县长官设立是非常重视的，直到唐玄宗即位之初，还“励精政事，常自选太守、县令，告戒以言，而良吏布州、县，民获安乐。二十年间，号称治平，衣食富足，人罕犯法”。唐玄宗还贯彻并推行一项“出入常均”的措施，这里的一“出”一“人”，实即京城官与地方官的交流。许多京官被选为刺史外出掌政，加强了对地方的治理。而地方上政绩卓著的官员被选为京官，皆能体察民情而使决策合理。开元十三年(725)，唐玄宗自选诸司长官出为刺史，并“饯于洛滨，供张甚盛”，作诗赐之。而玄宗前期任命的宰相如姚祟、宋璟、张嘉贞、源乾曜等，都是从地方官直接拜相的。唐玄宗励精图治，故有后人追慕的开元盛世。但至唐晚期，官僚腐败已成普遍现象。如杜荀鹤《再经胡城县》：“去岁曾经此县城，县民无口不冤声。今来县宰加朱绂，便是生灵血染成!”可见大势已颓，积重难返。唐代晚期之所以如此，关键是最高统治者已自乱方寸，缺乏有效的监督机制。