大运河最早开凿的一段是以国务院首批历史文化名城绍兴为中心点，西起萧山西兴，跨曹娥江，经过绍兴市，东至甬江，全长239公里的山阴古水道，始建于春秋时期。西晋时，会稽（绍兴）内史贺循主持开挖西兴运河，此后与曹娥江以东运河形成西起西小江，东到东小江的完整运河。南宋初年建都绍兴，皇陵亦在绍兴，浙东运河绍兴段成为当时的皇家御河，也是重要的通商航道。
隋唐大运河是中国古代汉族劳动人民创造的一项伟大的水利建筑工程，也是世界上开凿最早、规模最大的运河。后经元朝取直疏浚，全长1794公里，成为现今的京杭大运河。京杭大运河利用了隋朝大运河不少河段，缩短了900多公里的航程。 自清末改漕运为海运，大运河才不再是国家经济的大动脉了。
隋唐大运河以洛阳为中心，南起杭州，北到北京，隋朝开凿全长2700公里，跨越地球10多个纬度，纵贯在中国最富饶的东南沿海和华北大平原上，经过浙江、江苏、安徽、河南、山东、河北、北京七个省市。
隋唐大运河是隋代统一南北以后，将以前已有的自然水道加上隋代开凿的运河组成了一条自江南一直到洛阳的路上水道，主要目的是运送首都所需的物资。运河以洛阳为中心，向北到涿郡，向西到大兴，向南到余杭。隋唐大运河是世界史上最长的运河。唐代诗人皮日休作诗道：“万艘龙舸绿丛间，载到扬州尽不还。应是天教开汴水，一千余里地无山。尽道隋亡为此河，至今千里赖通波。若无水殿龙舟事，共禹论功不较多。”（《汴河怀古二首》）但是隋朝大运河在其后部分河段失去通航功能，被元世祖忽必烈所修的京杭大运河（仅古邗沟、江南运河等河段与隋朝大运河有重合）取代。
隋代的政治和军事中心位于中国华北，尤其是中原地区，在平定南陈期间，为了运兵南下，开始修建运河。待开皇九年（589年）三月平定南陈后，为了将江南的粮食和纺织品运送到北方，又陆续开凿了数条运河。最终形成洛阳为中心，首尾相连的几条运河。
隋文帝开皇七年（587年），隋为兴兵伐陈，从今淮安到扬州，开山阳渎，后又整治取直，中间不再绕道射阳湖。隋炀帝大业元年605年，开通济渠，工程西段自今洛阳西郊引谷、洛二水入黄河，东段自荥阳汜水镇东北引黄河水，循汴水（原淮河支流），经商丘、宿县、泗县入淮通济渠，又名汴渠，是漕运的干道。隋炀帝大业四年608年又开永济渠，引黄河支流沁水入今卫河至天津，继溯永定河通今北京。公元610年继开江南运河，由今镇江引江水经无锡、苏州、嘉兴至杭州通钱塘江。至此，建成以洛阳为中心，由永济渠、通济渠、山阳渎和江南运河连接而成，西接大兴，南通余杭，北通涿郡，全长折今2700余公里的大运河。
大运河为后世经济发展起到了很大的促进作用，在大运河修筑成功和此后发挥作用的五百余年时间之内成为沟通隋唐大运河沿线的重要政治、经济、文化的纽带。但在隋炀帝大业年间修建过程中过重的劳役加重了普通百姓的负担，使得民怨沸腾，成为隋末民变的诱因之一。
