1840～1842年，英国人以30余艘舰船和不足1万人的远征军打败了拥有近百万常备军的清王朝。鸦片战争的失败使清廷受到强烈震撼，魏源、林则徐等有识之士认为“夷之长技，一战舰，二火炮，三养兵练兵之法”。他们建议并规划出创立中国近代海军海防的初步方案，以期形成“中国水师可以驶楼船于海外，可以战洋夷于海中”的战略格局。
19世纪60年代初，清政府在镇压太平天国起义的过程中萌发了仿效西方坚船利炮、创办近代海军的设想。海关总税务司英国人李泰国等先后建议购买外舰建立舰队，得到清政府允准。1862年，李泰国在英国购舰船7艘，与英国海军上校阿思本密谋企图控制中国海军，但遭到清朝官员抵制，此次购舰建军计划破产。
1865年，清政府创办江南机器制造总局，次年创办福建船政局，打算通过发展造船工业，创建近代海军。1866年，在左宗棠、沈葆桢的操办下，中国近代第一所高等院校——船政学堂在福州诞生。1867年1月6日，船政学堂正式开学，采用法国教育体制，把船舶工程学校与海军学校合二为一，是一所按技术分设专业的近代高等院校。
1867年，前江苏布政使丁日昌首先提出建立“北洋、中洋、南洋”三支轮船水师的构想，无事出洋梭巡，有事则一路为正兵，两路为奇兵，联合作战。
1874年，日本舰队以琉球船民事件为由人侵台湾，沈葆桢带舰人台交涉退兵，形成中日双方第一次正面冲突。日军侵台使清政府朝野震动不已。同年11月5日，总理衙门上奏．强调了海防问题的必要性和急迫性，提出“练兵、简器、造船、筹饷、用人、持久”六项加强海防、抵御外侮的措施，并随后展开了一场著名的“海防大讨论”。最终通过了“先就北洋创设一支海军，俟力渐充，就一化三，择要分布”的海军海防发展战略思路，并派李鸿章和沈葆桢分别督办北洋、南洋海防事宜，从而直接推动了我国近代海军建设的步伐。
1875年5月30日，清政府下令由沈葆桢、李鸿章分别筹建南北洋水师，每年拨付经费400万两白银，由南北洋水师分用。为迅速见成效，且为重点防御日本，清政府采纳沈葆桢建议，优先重点发展北洋水师。
南洋海军于1879年5月由沈葆桢等奏设“海外兵轮船统领”，以后又称“南洋兵轮船总统”，由江南提督或长江水师提督兼任。1879年7月4日，福建水师成立，为我国最早成军的近代海军力量。到中法战争前，福建水师共有军舰15艘，排水量近1．8万吨，舰队多为木壳舰，以国产为主。1884年中法战争，福州船政局所属军舰惨遭全歼，南洋海军也损失了2舰。
北洋水师的舰船主要来自国外购买。此时正是欧美各国收获海军革命成果的时代，海军武器装备的发展可谓日新月异，而且对出售此类产品亦无严“定远”号铁甲舰格的限制，只要肯花钱，几乎任何新式武器装备都能很快买到。1875年，李鸿章通过总税务司赫德在英国订造4舰炮船，开始清朝海军向国外购军舰的历史。在1879年日本吞并琉球后，清政府鉴于形势紧迫，急令李鸿章从速购买铁甲舰。李鸿章接受了驻德国公使李凤苞的大力推荐，选定在德国伏尔锵船厂订造两艘铁甲舰“定远”号和“镇远”号，另外再订购一艘铁甲巡洋舰“济远”号。“定远”和“镇远”属同一级别的姊妹舰。两舰长93．87米，宽17．98米，排水量7335吨，航速14．5节，装甲总重为1461吨。这两艘军舰造成后，成为世界第一等的铁甲舰，也是当时亚洲的第一巨舰。1886年，“定远”和“镇远”两艘铁甲舰停泊日本长崎补给、维护时，坚甲巨炮引得日本朝野一片恐慌。
1888年12月17日，北洋水师正式宣告成立，并于同日颁布施行《北洋水师章程》。北洋水师共有大小舰只20余艘(不包括鱼雷艇和辅助船只)，以2艘铁甲舰、8艘巡洋舰为主力，总吨位超过4万，是当时堪称世界第六、亚洲第一的海军舰队。