從304年到409年，華北陸陸續續有多個國家建立，包括成漢、前趙、後趙、前燕、前涼、前秦、後秦、後燕、西秦、後涼、北涼、南涼、南燕、西涼、夏和北燕，史稱十六國。 自東漢後期開始，為躲避戰亂，北方的漢族人民大量遷居南方，造成經濟重心開始南移；晉朝南遷，遷都金陵，稱作「建康」（今江蘇南京），歷史上稱此前為西晉，遷都金陵後為東晉。 東晉曾派多名將軍出兵北伐，但都無功而還，因為由於士族長期掌權，東晉一直失去著北伐勝利的機會。西元383年，前秦苻堅在統一北方後以六十萬大軍南侵，在淝水被晉軍殺得大敗，從此苻堅勢力不振。東晉曾一度為大將桓玄所篡，後為北府兵將領劉裕擊殺，從此，東晉大權落到劉裕的手裏，他於417年出兵滅掉後秦、南燕，收復青州，兗州，徐州、豫州四州，420年廢掉晉恭帝自立，國號宋。後來宋為齊所篡，齊為梁所滅，梁為陳所代。 439年，拓跋氏鮮卑統一北方，又大敗北方異族柔然，建立北朝的第一個王朝——北魏，形成南北朝的對立。北魏經馮太后改革，孝文帝漢化後，逐漸強盛。534年，北魏分裂為由漢人高歡掌握的東魏，與由鮮卑人宇文泰所控制的西魏，後東魏為高歡的後人北齊所取代，西魏為宇文泰後裔的北周所代，577年北周武帝宇文邕出兵滅掉北齊，統一北方。南朝經歷宋、齊、梁、陳的更替，而北朝則有北魏、東魏、西魏、北齊和北周。 南北朝時期是佛教十分盛行的時期，許多梵文佛經被翻譯成漢文，許多佛教僧侶來到到中國傳教。其中有一位叫做菩提達摩的，他所開創的禪宗，經過中國人思想的傳遞與創新後，對中國哲學造就很大的影響。