西汉置， 春秋名邑，汉以列城置县。县名众说纷纭，本为水量充沛。诸说中以北魏郦道元《水经注》“施合于肥，故曰合肥”最为科学，符合实际。
汉高祖四年，九江郡(仍治六)。文帝十六年四月丙寅，改封刘长子阜陵侯刘安为淮南王，仅领九江1个郡地，合肥县改属淮南国(仍治寿春)。
元狩元年(前122年)，淮南国除，复设九江郡，合肥县属之。
元封五年(前106年)四月，合肥县改属扬州刺史部九江郡。
王莽新朝改九江郡为延平郡，合肥县属之。
东汉建武六年(30年)，刘秀封功臣鉴谭为合肥侯，改县为侯国，历4世，国除为县。灵帝又封其弟为合肥侯，后复为合肥县。侯国与县，属扬州九江郡。
兴平三年(196年)，袁术据寿春，改九江郡为淮南郡，合肥县属之。术亡，建安四年(199年)，改淮南郡为九江郡，合肥县仍属之。
建安五年，曹操派刘馥任扬州刺史，单马造合肥，立为扬州治。
黄初二年(221年)，合肥县改属淮南国。四年，改属淮南郡。太和六年(232年)，改属楚国。嘉平元年(249年)，改属淮南郡。
吴、魏对合肥地区进行过多次争夺战，魏以合肥为重镇兼扬州治。魏青龙元年(233年)，扬州都督满宠为防御吴军进攻，在今市区西北15公里的三十岗乡鸡鸣山下的古城村筑合肥新城。从此，县、州治改驻新城。
旧城、新城，三国遗迹斑斑，世有“三国故地”之称。孙吴曾围旧城11次，均无法攻下合肥，被迫退兵南归。著名的战役要数建安十三年，孙权亲率10万大军围合肥；曹操4次亲临合肥部署对吴战争，并于建安十四年，亲筑教弩台，“教强弩以御吴舟师”。
建安二十年，魏将张辽亲率800壮勇奇袭吴营，大战逍遥津，迫使吴主孙权飞骑过西津断桥，取得逍遥津大捷。新城建成后，孙权曾两次围新城及太傅诸葛恪统率20万大军，围城90余日，均劳师无功而回。
晋咸熙二年(265年)十二月，司马炎重演曹丕代汉故事，建立晋朝，合肥县仍魏旧制，属扬州九江郡(仍均治寿春，今寿县城关镇)。
西晋一统后，合肥县仍属扬州淮南郡。太康十年(289年)十一月甲申，改属淮南国。永泰元年(300年)八月，改属淮南郡。
大兴四年(321年)，晋征西将军戴渊为督司、兖、豫、并、雍、冀六州诸军事兼司州刺史，在江淮间侨置有关侨郡、县分别属之，治合肥，使合肥成为重镇。
东晋咸和五年(330年)，在合肥侨置汝阴郡、县及陈郡。
后赵建武十一年(345年)，染指合肥，合肥县属扬州淮南郡。永和六年(350年)，复属东晋豫州汝阴郡，汝阴、合肥县同治。
南朝宋永初元年(420年)，合肥县、汝阴县改属南汝阴郡，并兼南豫州、南汝阴郡治。三年，撤销合肥县，为侨置的汝阴县所取代。
南朝齐侨置的豫州，又称西豫州迁治汝阴，仍兼南汝阴、北陈郡治、汝阴县治。
南朝梁天监五年(506年)，复汝阴，改南汝阴郡为汝阴郡，迁豫州治汝阴。普通七年(526年)十一月，豫州迁治寿春，迁南豫州治汝阴。
太清元年(547年)七月甲子，改设合州于汝阴，以故合肥县为州名(徐文范说大同九年即543年改)，兼汝阴郡、县、南顿郡、县等治。太清二年(548年)，合州入东魏，梁改治江滨。
北周大定元年(581年)二月，隋代北周，合州改属隋朝，仍其旧制。开皇三年(583年)，废郡，撤县，改合州为庐州，恢复合肥县，庐州系延庐江郡、县旧名。合州为一级政区名称历梁、东魏、北齐、陈、北周及隋初，南北共6个政权，历时40载。隋初，在庐州设总管府，作为灭隋的前沿阵地。大业三年(607年)四月，改庐州为庐江郡，均治合肥。
武德三年(620年)，改庐江郡为庐州，仍治合肥县，属贞观元年(627年)划设的淮南道地理区域。开元二十一年(733年)，道作为一级区划，庐州仍属淮南道。
天宝元年(742年)，复名庐江郡，仍治合肥，仍属淮南道。至德元载(756年)十二月，置淮南节度使于扬州(今扬州市)，庐江郡仍属之。
至德二载十二月，复名庐州，仍属淮南节镇。
中和三年(883年)，庐州人杨行密据本州，经营江淮、江南地区。天复二年(902年)三月，唐封杨行密为吴王，原本以庐州为根据地，后改都扬州，庐州仍属吴。唐亡(907年)，吴自立，仍据江淮间，庐州属之。
后周显德七年正月，宋代后周，庐州及合肥县入北宋。宋初，仍沿旧制，庐州仍治合肥县，改属淮南道地理区域。至道三年(997年)，改属淮南路。
熙宁五年(1072年)，分淮南路为东、西两路，西路治寿州(今寿县城关镇)，庐州改属淮南西路。
南宋改淮南西路治庐州，为南宋抗金重镇和输送抗金物资的集散地。绍兴初，为避金兵，淮西路寄治巢县(治今巢湖市区)。绍兴七年(1137年)，淮西将郦琼以庐州叛降刘豫伪齐。十一年，为杨沂中收复。乾道二至五年(1166～1169年)，在和州置司。五年，淮西路复治庐州。
元十四年(1277年)，在庐州设淮西路总管万户府，属江淮行省(治扬州，今为市)淮西道宣慰司(治庐州，今合肥市)庐州合肥县。十五年，升庐州为路，置总管府，仍属江淮行省(治今扬州市)的淮西道(治庐州)。二十八年十二月，江淮行省迁治汴梁路(今开封市)，改名河南江北等处行中书省，简称河南行省。庐州路仍治合肥县，庐州路改属河南行省淮西江北道，简称淮西道(治庐州)。元末，红巾军起义政权大宋在庐州设江淮行省。龙凤十年(1364年)七月，改庐州路为庐州府，为江淮行省省会。不久，废江淮行省，改属朱元璋设于应天府(今南京市)的江南行省。
洪武元年(1368年)八月，庐州府改属中书省，仍治合肥县，不久撤销梁县，并入合肥县。十三年(1380年)正月，庐州府直隶六部。永乐元年(1403年)，庐州府改隶南京，又称南直隶、直隶南京(治今南京市)。〔附南明〕
顺治二年闰六月乙巳(1645年8月19日)，庐州府改属江南省(省治江宁府，今南京市)。康熙六年七月甲寅(1667年8月30日)，改属安徽省(省会治安庆府，今安庆市)。
咸丰三年(1853年)四月二十三日，安徽省会迁驻庐州府。十二月十日，安徽巡抚江忠源赶到庐州府上任，定庐州府为临时省会。以后，庐州府成为清政府与太平军反复较量的重要战场。咸丰四年一月十四日，太平军攻克庐州府。咸丰五年十一月十日，清军复陷合肥。
咸丰八年八月二十三日，太平军再次收复庐州府。同治元年五月十三日，英王陈玉成被叛徒苗沛霖骗去寿州(今寿县城关镇)，清军再度占领庐州府。当年，因惧捻军及太平军余部，以庐州府无雄关天堑可恃，仍将安徽省会迁回安庆府。庐州府作为安徽临时省会前后10年。
同治四年六月甲午(1865年7月23日)，庐州府改属安徽省安庐滁和道(道治安庆府)。光绪三十四年五月甲午(1908年6月8日)，庐州府改属皖北道，直至清亡。辛亥年农历九月十九日(1911年10月28日)，合肥光复，废道。
民国元年1月，废庐州府，存附郭合肥县，直属安徽省。民国3年6月2日，合肥县改属安徽省安庆道(道尹驻安庆城，今为市)。
民国17年8月，废道，合肥县直属安徽省。民国21年4月2日，合肥县属安徽省第三行政区(首县为合肥县)。10月10日，合肥县改属安徽省第三专区(专员驻六安县，今为市)。27年5月14日，日本侵略军侵占合肥，国民政府将合肥县临时迁驻今肥西县潜山乡鸽子笼圩子等地，仍属第三专区。
民国27年11月10日，改属皖北行署第三专区。29年2月2日，撤销皖北行署，合肥县仍属第三专区。7月，合肥县改属第二专区，直至民国34年8月才回治合肥城。
