秋時的吳國，即以都城吳（蘇州市）為中心，鑿了許多條運河，其中一條向北通向長江，一條向南通向錢塘江，這兩條南北走向的人工水道，就是最早的江南河。這條河在秦漢、三國、兩晉、南北朝時，進行過多次整治，到了楊廣時又下令作進一步疏浚。《資治通鑑》卷一八一記載：“大業六年冬十二月，敕穿江南河，自京口至餘杭，八百餘里，廣十餘丈，使可通龍舟，並置驛宮、草頓，欲東巡會稽。”會稽山在今浙江省紹興市東南，相傳夏禹曾大會諸侯於會稽，秦始皇也曾登此山以望東海。
大運河的通濟渠、永濟渠和江南河等渠道，雖然不是同時開鑿而成，可以算作各自獨立的運輸渠道。但是由於這些渠道都以政治中心長安、洛陽為樞紐，向東南和東北輻射，形成完整的體系，同時，它們的規格又基本一致，都要求可以通航方舟或龍舟，而且互相連線，所以又是一條大運河。這條從長安、洛陽向東南通到餘杭、向東北通到涿郡的大運河，是古今中外最長的運河。由於它貫穿了錢塘江、長江、淮河、黃河、海河五大水系，對加強國家的統一，促進南北經濟文化的交流，都是很有價值的。
在以上這些渠道中，通濟渠和永濟渠是這條南北大運河中最長最重要的兩段，它們以洛陽為起點，成扇形向東南和東北張開。洛陽位於中原大平原的西緣，海拔較高，運河工程充分利用這一東低西高、自然河道自西向東流向的特點，開鑿時既可以節省人力和物力，航行時又便於船隻順利透過。特別是這兩段運河都能夠充分利用豐富的黃河之水，使水源有了保證。這兩條如此之長的渠道，能這樣好地利用自然條件，證明當時水利科學技術已有很高的水平。開鑿這兩條最長的渠道，前後用了六年的時間。這樣就完成了大運河的全部工程。隋朝的大運河，史稱南北大運河。它貫穿河北、河南、江蘇和浙江等省。運河水面寬30—70米，長約2700多公里，是世界上最偉大的工程之一。
這個與長城並稱為中國古代的兩項偉大工程的大運河就像長城一樣飽受爭議，而下令修建它們的皇帝更是因這偉大的專案工程被中國的歷史公認為是暴君，哪怕認為他們是暴君的後人們依然在享受他們修建的工程所帶來的好處與利益。
如果當時的人們罵他們的皇帝楊廣是暴君的話是可以理解，甚至是沒有罵錯的，但是後人在享受楊廣帶來的好處的同時卻依然在罵楊廣是暴君就有點睜著眼睛說瞎話了。
為什麼這樣說呢？因為楊廣開鑿大運河是確實給當時的人們帶來了沉重的負擔甚至難以想想的死亡，所以罵他是暴君是沒有錯是應該的，但是它給後人帶來的無窮無盡的好處與利益，後人應該同情甚至感激他而不是繼續的罵他，不應該在誇獎運河帶的利益的同時狠狠的罵上開鑿它的楊廣幾句。
從大業元年（605），楊廣即位第一年就徵發百萬士兵和伕役，修造通濟渠，同年又徵民夫改造邗溝。到大業四年（608），又徵發河北民工百萬開鑿永濟渠，在到後來大業六年（610）溝通江南河。至此，開鑿大運河的工程基本完成。整個施工設計，是由隋朝時期最著名的工程家宇文愷統籌規劃的。本來在宇文愷最初的計劃是以百姓分批服役的方式，溝通海河、黃河、淮河、長江、塘江5大河流，建立一條連線南北的大運河。在宇文愷的最初設想裡，這個浩大工程的每一個細節步驟，他都考慮得非常詳細，比如開鑿的河道兩旁種上柳樹以保護河道，又如他給楊廣建議不宜一次性調動太多民夫，而是由百姓分批分散服役，保證每年動用民夫總數不超過20萬人，而且凡是參與勞役的民夫，都由國家出糧給予補貼。宇文愷根據自己的規劃設想整個大運河工程是計劃11年全線貫通，但奏報送上去之後，楊廣嫌慢了，是的11年對急進的楊廣來說真的太久了，所以在楊廣的大筆一揮下同意了宇文