在南市境内设县，归属南直隶松江府下辖。后为抵御倭寇，修筑城墙。（如今大镜阁古刹仍然保留着一段明代城墙遗址，而环绕老城的中华路、民国路（1949年后改为人民路）则为护城河遗迹。1842年根据《南京条约》上海开埠后，英国在新开河北岸至苏州河南岸设立租界，而新开河南岸则为上海老城区。上海人将英租界称为北市（今黄浦区、静安区），而老城华界称为南市，南市区由此得名。
咸淳年间（1267年前后），上海建镇，镇上以市舶司署（即后来的县署，位于今光启路北段）为基点，市容逐渐繁华起来。上海镇上的主要街道有"新衙巷"，即今新弄"新路巷"，即今望云路"薛巷"，即今薛弄底街"康街巷"，即今巡道街"梅家巷"，即今梅家街和今光启路共五条主要街道。它们都集中在今上海市区中华路以西、以北，河南南路以东和方浜路以南的范围内，因此可以说是南市区的渊源。
至元二十七年（1292年），因商务日益发展，经元政府批准，上海镇升格为上海县，面积已达2018平方公里，但中心区域仍在南市一带。明嘉靖三十二年（1553年），倭寇勾结地方海盗大举入侵，，直闯上海镇市中心，大肆掳掠杀伐，连县衙门也遭焚烧洗劫，变成一片废墟。为了防止倭寇劫掠，，松江府知府方廉下令兴筑上海城池，经过两个多月的日夜抢筑，上海城墙全部建成。
新筑成的县城城墙共长九里，有朝宗门（大东门）、宝带门（小东门）、朝阳门（小南门）、晏海门（老北门）等8座城门，城内有肇家浜、方浜、薛家浜等东西向直通黄浦江的河流，自南向北，另有一条中心河，沟通了上述三河，河上桥梁纵横，清代嘉庆年间，有桥梁五十座，桥梁的附近店肆商铺林立，随着经济的日趋繁荣，县城开始吸引更多的人口入境定居，明代中叶开始，上海县城出现了一批私家园林，其中以"豫园"、"露香园”"日涉园"等颇为著名，街巷也从建城之初的10余条，增到嘉庆年间的63条，知名的有花衣街、彩衣街等。
鸦片战争以后，上海被迫开放为通商口岸。英国殖民者首先在1845年划定南起洋泾浜（今延安东路）北至北京路，西至河南路，东至黄浦滩为英租界。1849年，法国殖民者则划定县城以北、英租界以南的区域为法租界。上海县被一分为三，中国政府已无法管辖县城之外的那两块外侨居住区域。1861年，法国侵略者又以帮助清军镇压小刀会起义以及不久的太平军进攻上海有功为名，要挟清政府扩充法租界的面积，由此法租界的东南方延伸到十六铺，于是小东门外的十六铺桥成为租、华两界的分界线，上海出现"南、北市"之称，十六铺以南地方即成为南市，随着商业渐形繁华，其范围一直向南延伸到了高昌庙（今江南造船厂附近）。 清末民初，城内进行了大规模的填浜筑路工程，肇嘉浜等河流被填没后相继建成了肇嘉路（今复兴东路），方浜路（今为方浜中路），守署街（今为尚文路）河南路、小桃园路等路段。上海县城的城墙因阻碍交通，1909年地方官加开尚文门（小西门）、拱辰门（小北门）、福佑门（新东门）等四个新城门，1912年民国成立后，城墙被拆，城壕上面相继筑成法华民国路（今人民路）、中华路。
国民政府设立上海特别市，接收上海县和宝山县属部分市乡，成立17个区，其中沪南区包括原南市地区，还包括了正在开发的新西区，即高昌庙以西至龙华、徐家汇一带。从此南市地区不再归上海县管辖而成为上海市区的一部分。抗战爆发后，1943年汪伪政府收回租界，上海市区调整为8个区域，第七区定名南市区，从此上海有了行政区划意义上的南市区。1945年抗战胜利，翌年，上海市连同旧租界共划分为32个区，南市区改为邑庙区和蓬莱区。
2000年，上海市人民政府宣布，国务院批准撤销南市区，将南市区黄浦江西岸地区并入黄浦区，而原南市区黄浦江东岸地区早在浦东新区建区后不久的1993年3月已经并入浦东新区。自此南市区从上海市行政区划中消失。
