瑶族的先民是古代百越的一部分，秦汉以前被统称为“蛮”。西汉时，连阳一带属长沙郡，居住其间的瑶族被称为“长沙蛮”。汉以后他们定居于粤北，同长江以南其它少数民族一起，先后被泛称为“蛮”、“蛮夷”、“荆蛮”、“俚”、“僚”等。范晔《后汉书·南蛮传》最早记载了瑶族祖先“长沙蛮”和盘瓠的传说。顾炎武《天下郡国利病书》为此所加的按语说，“瑶产于湖广溪峒间，其后繁衍，南接二广，右引巴蜀，绵亘数千里”。即是说瑶族先民原居洞庭以北山区，后因战乱及栖息区逐渐贫瘠，故出武陵、五溪向今湘粤桂三省边境迁移。再经过六朝360多年的民族融合，瑶族部分先民为汉族所同化，所以隋唐以后上述各种泛称逐渐消失，而另一部分原称“蛮夷”、“俚”“僚”，并保留着比较明显的民族特点的少数民族，史籍开始对他们使用专用的族称。瑶族名称最早见于唐初姚思濂撰修之南朝《梁书·张缵传》，曰：“零陵、衡阳等郡有莫徭蛮者”。魏征等《隋书·地理志》：“长沙郡又杂有夷蜒，名曰‘莫徭’。自云其祖先有功，常免徭役，故以为名。其男子但着白布禈衫，更无巾袴，其女子青布衫，斑布裙，通无鞋屩。婚嫁用铁钴金莽为聘财。武陵、巴陵、零陵、桂阳、澧阳、衡山、熙平皆同焉。”隋时，熙平郡一度包括现在曲江、连山、始兴等县。就是说至迟在隋唐之际有明确史籍记载的居于粤北的是“莫徭”，这是一支武陵、零陵一带的“诸蛮”，结合原居浙江的山越族，经过湖南道州、辰州、江华等地，陆续向西南包括粤北一带迁移，依靠利于逥旋的山地定居下来。故唐代韩愈于贞元二十一年（805年）在其《送区册序》一文中曾说到阳山“鸟言夷面”，“画地为字”。另一位唐代大文豪刘禹锡在元和十至十四年（815-819年）贬谪为连州剌史时，写了《连州腊日观莫瑶猎西山》、《莫瑶歌》、《蛮子歌》及《插田歌》等诗，具体描述了莫徭“海天杀气薄，蛮军部伍嚣”，“箭头涂鹄血，鞍傍见雉翘”以及“蛮衣斑斓布”，“时节祠盘瓠”，“名字无符籍”，“火种开山脊”，“市易杂鲛人，婚姻通木客”等生产、生活之社会风尚，他们所描述的莫瑶，就是后来所谓“连阳八排瑶”。
至宋代，据《宋史·蛮夷传》载：“蛮瑶者，居山谷间，其山自衡州到常宁县，属于桂阳郴、连、贺、韶四州，环纡千余里，蛮居其中，不事赋役，谓之瑶人”。当时瑶族人民用蜡染印花布是一项纺织先进工艺，周去非《岭外代答》称其为“瑶斑布”，布身有“炳然可观”的细花，云“染斑之法，莫瑶人着也”。1167年（南宋干道三年），为加强对瑶族的统治，将曲江县乳源、崇信和乐昌县新兴三个瑶族聚居乡划出，设置乳源县，县城在虞塘（即今侯公渡罗屋）。
明清时期统治者在连阳、乳源等瑶区建立特殊的政治制度，采取镇压与绥抚相结合，分而统之的政策。如1395年（明洪武二十八年）在连州设守御千户（后改指挥同知），并置抚瑶甲总，设总兵、参将专事镇压；1403-1424年（永乐年间）又置抚瑶把总。从1398年（洪武三十一年）起，在乳源也设立瑶首，统领瑶镇和抚瑶总甲，概称瑶官，除瑶首外，还有瑶练和瑶甲。瑶首、瑶练委汉人充任，而瑶甲则由取得“师爷”身份的瑶族上层地主富农等担任。除连阳、乳源外，翁源县设有瑶目，英德县浛洸及蕉冈均设抚瑶署。1465-1487年（成化年间）在瑶区置抚瑶及瑶兵，每山寨设一瑶目。沿至1702年（清康熙四十一年）、在连州置理瑶军民同知，专理瑶务。1727年（雍正五年）连州升为直隶州，理瑶同知改为绥瑶同知，并添设乡勇，增置俍瑶土兵。
1912年（民国元年），绥瑶厅改为瑶务处，隶属连山县公署。八排瑶每排设瑶长一人，瑶练数人，处理瑶务。1927年（民国16年），广东省政府议决“开化黎瑶民族案”，在省民政厅议设“开化黎瑶局”，在连阳设“化瑶局”，隶属省政府。民国24年改为“安化管理局”。1942年（民国31年），在瑶区推行保甲制，乡、保、甲长多由瑶长、瑶练担任。1946年（民国35年），成立连南县，统辖连阳瑶族地区（不辖汉区），三江属连县，寨岗则属阳山。至于曲江县附近成片的瑶区，则分割划属曲江、乳源、乐昌三县，其中必背一带属乐昌，游溪一带属曲江，东坪西山一带属乳源。
再说唐宋以后统治者对少数民族编户管理、征收赋税的同时，仍然实行阶级压迫龢民族歧视政策，导致瑶民起事反抗。晚唐干符六年（879年），黄巢起义军由广州回师北上，其部将鲁景仁因病带骑兵千人，留在连州瑶区，与湖南蔡结、何庾领导的瑶民起事队伍联合，在湘南成立地方政权，割据20年之久。北宋庆历年间桂阳瑶民大规模起义，粤北各地瑶民群起响应，其范围遍及英、韶、连三州，于是北宋统治者不断发兵攻打瑶族居住中心区域，进一步把瑶族逼进韶州和连州山区，“依山自保”，顽强地繁衍生息。1245年（南宋淳佑五年）及宋末，乳源瑶民也曾有起事反抗的记载。明清对瑶民横征暴敛的同时，也不断对瑶民进行征剿，史籍所载的瑶民起事更是此起彼伏。如1450年－1456年（明景泰年间），广西大藤峡瑶族起事，连阳瑶民及时响应，占领了连山县城，赶走知县。1459年（天顺三年）瑶众再破连山；四年后，广西瑶族起事，韶州瑶民响应，势连翁源，攻陷清远县城。1515年（正德十年），乐昌西山瑶民2000余人连续5天围攻乳源县城。1647年（清初顺治四年）七月，乳源瑶族起事，首领黄万胜率众与连阳瑶民汇合，率万余人围攻乳源县城。1675年（康熙十四年）乳源瑶族与吴三桂所部联合反清…… “勉”、“优路”（瑶语音）的过山瑶的自称。据《吕氏春秋·慎势览》载：“……神农氏十七世始分天下”。商周时期共分封十一帝。先龙帝之子玄，赐姓乞，其支裔仡尤即是瑶族的最早先民。古时候史书上对瑶族先民最早的记载为东西周时期的蛮和荆蛮。后汉书载：公元前770-221年，秦昭王使白起伐楚，侵略蛮夷，始置黔中郡。《后汉书》卷一一六载（公元前209-220年）把居住在湖南武陵、五溪一带的瑶族称为武陵蛮，为盘瓠的直系子孙。《魏书》卷一百一、《南史》卷七十九所记（420-618年）的荆州蛮、雍州蛮，俱言为盘瓠之后。
据史料记载，瑶族最早的发祥地在黄河流域一带，到周朝时逐渐迁徙到长江中下游，并在闽（今福建）、浙（今浙江）、江淮（现安徽）一带生息繁衍，后沿长江中上游西迁。到了秦汉时期逐渐集居于湖南的湘江、沅江流域及洞庭湖沿岸地区，形成了以五溪、武陵等古长沙为中心的主要集居区。后由于屡次与当地统治阶级发生利益冲突，受到统治阶级的多次残酷镇压继而大量南迁并逐渐进入广西、广东、江西等地。广东早期的瑶族人即来源于此，也就是以往古书上所记载的“粤之瑶人出自武陵源”之说。历史上瑶族先民开始南迁的时间约在隋朝之前的秦汉时期。据北魏著名的地理学家郦道元所着《水经注》记载：“……蛮越渡水出武陵镡成县，北界沅水谷，水出辰洲府黔阳县，故镡成也；南至郁林潭中县与邻水合，谓之移溪，又东至苍梧为郁溪（注：苍梧在汉武帝时曾于汉元鼎六年，即公元前111年设置苍梧郡，辖区包括今广西梧州市、苍梧县、广西东部、广东西北部等广大地区），又东至高要为大水，即分西江。蛮越之众，自此越岭而居溪洞。”文中的蛮越，指的就是南迁的瑶苗等先民。根据现今乳源瑶族一些珍藏的手钞本资料均有乘船渡海、以及师爷书中有许多请神搬兵必请连州庙神之说，以及上述历史记载资料分析，瑶族先民乘船渡海，实际应是渡水出湖南武陵并沿沅江顺水而下进入广东西部、广西东部的西江流域一带，然后分路迁徙。大部分人在西江流域的贺县一带越岭而进入广东的连州、韶州、乳源、乐昌等地。另一部分人则继续乘船顺水而下进入西江并沿西江流向广东的肇庆、高要、怀集、广州等地，后逐渐向东北、西北方向迁徙。在漫长的迁徙过程中，一部分人逐渐跨越江西、福建等地。由于受到东海等大海的阻隔，这部分人后来又逐渐往回迁徙，由福建、江西进入广东龙门、始兴、英德、曲江、仁化、乐昌等地，同为“勉”语的一族，他们语言相通、生活习惯大同小异。随着瑶、苗等族人口的大量南迁，入住广东境内的瑶族也越来越多，隋末唐初广东西江流域、北部连阳诸县已有大量的瑶族先民居住。根据李默《广东瑶族史若干问题探索》一文引《电白县志·方言》、《化州志》，唐代朱余庆《送刘思复赴南海从军诗》，南朝梁任昉的《述异记》等资料考证，隋唐之际，广东境内之连州、韶州、肇庆、泷水、高州、化州及广州均已居住不少瑶人。到了宋代，形成了“……蛮越之众其山自衡州长宁县属之桂阳、郴、连、贺（广西贺州一带）、韶等数州，环行千里”。明代更是形成了“南岭无山不有瑶”的鼎盛局面，据《天下郡国利病书》载：“明朝时，广东境内有瑶族的州县共计21个，计有瑶山891座。”当时的广东虽然遍布瑶人，但据有关资料考证，当时瑶族人居住的中心地并不是广东，而是广西临近广东交界的西江流域一带，当时广西的梧州、大藤峡、永安州的府江、西乡、陆峒、贺县等地是瑶族先民集居的中心。据《明实録》广东少数民族资料记载：明朝丙辰年间总镇两广都御史闵珪等上奏朝廷的文书中曰：广西永安洲西乡、府江东西两岸等处瑶僮贼久为患，调大军征剿，周围数百里，共调兵6.4万余人，终得平之。这里仅永安一个州就需调兵6.4万，可见当时广西西江流域一带的瑶民远比其他地方的为多。时至今日，广西仍是中国境内瑶族人口集居最多的重要省份。
古代瑶族先民漫长的迁徙活动过程中，由于自然的、历史的、经济的以及各种族际关系等种种因素的复杂性，省与省之间、地方与地方之间的相互迁徙（也就是说除了单向之外还有双向迁徙甚至是重复迁徙）都是正常的。湖南人民出版社出版的《瑶族（过山榜）选编》一书共筛选了30多份过山榜，其中有记载湖南迁入广西、广东的，也有12份是记载由广东迁入广西、湖南的，其中有5份是明确记载从广东乐昌西山等地迁入湖南道州、江华、蓝山等地居住的。上述历史记载正好说明瞭历史上瑶族先民的迁徙生活是一个艰难复杂的历史过程。尽管迁徙的路径不一、到达广东韶州、乳源等地的时间和朝代也不尽一样，但他们与先期到达广东韶州等地的瑶族人却是同宗共脉的患难同胞，他们同讲“勉”语，有着相同的语言，生活习俗也大同小异。这就是部分400多年前已经离开乳源、乐昌西山（今乳源必背瑶寨）而西迁广西、云南、越南、泰国而后移居法国、美国、加拿大，至今仍能与乳源过山瑶语言相通、血脉相融的历史渊源。
