問題統(tǒng)一北方后，開始準備消滅南下。他首先任命韓波浩為漳州總經理。

賀若粥為吳州總管，陳兵于隋陳邊界，又命楊素督造戰(zhàn)船，修成五牙大樓船、黃龍戰(zhàn)船、大量平乘、舴（ze）等輕便小船，以備渡江。587年，隋文帝又采納謀士之策，在江南收獲之際，派兵騷擾，廢棄農時，并派人焚燒陳人糧倉，令陳國力更衰。588年，在鞏固了內部、緩解了與突厥的矛盾后，隋文帝命楊光出六合、楊俊出襄陽、楊素出永安、劉仁恩出江陵、王世積出蘄春（qi chun）、韓擒虎出滬江、賀若粥出廣陵、燕榮出東海，兵分八路，計有五十二萬人，在東臨滄海、西接巴蜀的長江沿線，向陳發(fā)動了全線進攻。而陳后主沉溺酒色之中，不加防備。589年，韓擒虎領五百精兵夜渡長江，并攻克姑孰，控制了長江上游的咽喉要道。賀若粥橫渡塹（tian qian），克京口，掌握長江下游門戶。兩路夾擊之下，陳兵首尾不能顧及，望風潰敗。賀若粥、韓擒虎乘勢分別攻入建康，俘虜了陳后主及文武百官。晉王楊光入建康后，命陳后主詔上游諸位陳將投降，陳水軍都督周羅高等全部投降，陳亡，自西晉滅亡以來二百多年的南北分裂局面至此結束。