商、周时期为濊貊居地。
秦、汉、三国及魏、晋时期，夫余族人民在境内居住。
南北朝时期，本县境域为豆莫娄国。
隋时期，境内民族为靺鞨族。
唐时期，境内民族为靺鞨族安东骨部。
辽时期，属东京道所辖，治所设在辽阳府（今辽宁省辽阳市）。
金时期，属上京路肇州辖境。
元时期，为成吉思汗二弟哈布图哈萨尔之分封地，为开元路所辖，治所设在黄龙府（今吉林省农安县）。元贞元年（1295年），设立肇州屯田万户府，治所设在八里城（今四站人民公社境内），肇东境域为肇州屯田万户府所辖。
明时期，属奴儿干都司塔山卫。洪熙元年（1425年），属郭尔罗斯部。
清代，系郭尔罗斯后旗游牧地。清光绪年间出放蒙荒，垦民渐稠。
1906年2月1日（清光绪三十二年正月初八日），黑龙江将军奏准，设置肇州厅的同时，于昌五城（今昌五镇）设肇东分防经历。翌年委任官员，至1908年（清光绪三十四年）肇东分防经历正式到任。
1910年，肇东分防创设巡警分所。
中华民国成立后，1912年11月5日，裁撤肇东分防经历，改设肇东设治局。设治员贺良楫奉命于11月30日前往“昌五”；12月4日开办，启用关防。
1914年7月1日，奉令将设治局改设肇东县，县公署驻昌五城。隶属龙江道。
1929年2月，裁撤道制，由黑龙江省直辖。时为二等县。
东北沦陷后，初隶黑龙江省，1934年12月改隶滨江省。
1935年9月，将县境西南部的第三区大部（今四站、西八里、涝洲、德昌、五里明乡镇一带）划归郭尔罗斯后旗管辖。
1937年12月3日，伪县公署由昌五城迁至满沟站（原名甜草岗，今肇东站），满沟成为县城，后称“满沟街”。
为与县名统一，1940年5月1日，将满沟街改称肇东街。
1945年“九三”抗日战争胜利后，同年12月，划归哈西专区管辖。专员公署驻肇东县城。
1946年3月，划归吉江行政区。同年4月，将郭尔罗斯后旗的八里、四兴（今四站镇）、向阳、三星、同仁村和呼兰县的乐安、安居、长发、万宝村划归新设置的乐安县管辖；
1946年5月，撤销吉江行政区，划归嫩江省；7月，撤销乐安县，并入肇东县。
1947年2月至9月，隶属黑嫩联合省第四专区管辖。黑嫩联合省分设后，肇东县隶属嫩江省。
1949年5月，嫩、黑两省合并为黑龙江省，隶属黑龙江省管辖。
1954年8月，松、黑两省合并后，由黑龙江省直辖。
1958年8月，划归哈尔滨市领导。
1960年1月，将万宝公社划归哈尔滨市。同年5月，将肇东县划归松花江专区管辖。
1965年6月，松花江专区更名为绥化专区，肇东县隶属绥化专区。
1986年9月8日，国务院批准，撤销肇东县，设立肇东市（县级），以原肇东县的行政区域为肇东市的行政区域，隶属绥化地区管辖。
1999年，国务院批准改绥化地区为地级绥化市，肇东市由绥化市代管。
