据考古研究，早在旧石器晚期，高平地区已有人类聚居。夏商时期，这里隶属于冀州管辖，高平县的名称开始显现。春秋时期，高平归属于晋国，此阶段首次被称为泫氏。战国时期，地名更改为长平，曾先后归属韩、赵两国，秦赵长平之战后，高平被秦国占据，设立了高都县，隶属于上党郡。
西汉至东汉、三国、魏、两晋时期，高平县仍沿用泫氏县的名称，继续隶属于上党郡。北魏初期，改名为元氏县，隶属于建兴郡。永安二年（公元529年），北魏将建州设为长平郡，并增设了长平郡和泫氏、高平两县，高平县的名称正式出现。齐天保七年（公元556年），高平县改称为平高县，后来又恢复为高平县，将泫氏县并入，自此，仅以高平县命名，不再提及泫氏。北周时期，长平、高都两郡合并为高平郡，高平县继续隶属于高平郡。
进入民国，高平县先属山西省冀宁道，后在民国23年归山西省直辖。民国26年后，高平归属山西省第五行政区。民国30年，抗日民主政府在高平成立，接受太岳区的管辖。民国32年，高平县东南部划归陵高县，剩余地区仍为高平县。1945年6月，高平获得解放，同年10月撤销陵高县，原陵高县区域重新划归高平县，隶属于太岳四专区。1948年，高平又调整为太岳三专区的管辖范围。
中华人民共和国成立后，撤销太岳区，高平县成为山西省长治专区的一部分。1958年，晋城、高平和陵川三县合并为晋城县，高平县成为高平人民公社。1961年，恢复为高平县，之后先后受晋东南专区和晋东南地区的管辖。1985年，实行市管县体制，晋东南地区改设为晋城市，高平县成为晋城市辖下的县。1993年5月12日，经国务院批准，高平县升格为省辖县级市，由晋城市代管，自此，高平市的历史沿革进入新的阶段。
高平县位于山西东南部，泽州盆地北端，太行山西南边缘。沁辉公路东西横跨，太焦铁路、太洛公路并行南北纵穿境内。地理坐标为北纬35°40″─36°0″，东经112°40″─113°10″。海拔高度800─1391.1米之间。东自铁佛岭与陵川县接壤，西至老马岭与沁水县相连，南至界牌岭与泽州县交界，西北至丹朱岭与长子县为邻，东北自金泉山与长治县相接。东西广41公里，南北纵37公里，总面积946平方公里，约占全国总面积的万分之一。平面轮廓近似方形。总人口48万人（2004年）。市人民政府驻南城街道。