这时候，荆州之兵力，实已非北府之敌。所以桓玄得志之后，便夺去刘牢之的兵权。牢之谋反抗，不成，自杀。而北府兵的势力，实在并未消灭。公元四〇四年，北府兵中旧人，刘裕、刘毅、孟昶（chǎng）、何无忌、诸葛长民等起兵讨桓玄。桓玄的兵，到处皆败。逃至江陵，被杀。安帝复位。刘裕入中央政府，主持大权。于是积年以来，朝廷为荆州所挟持的形势一变。然而军人到底是要互相吞并的。于是相互间之问题，不在北府兵和荆州系，而在北府兵里同时并起的几个人。
这时候，后燕因为后魏所破，分为南北，形势已弱。后秦也因受夏国的攻击，日以不振。四〇九年，刘裕出兵，把南燕灭掉。先是妖人孙恩，为乱于江、浙沿海，为刘裕所讨破。赴水死。其余党卢循、徐道覆，于桓玄时据有广州和始兴。[4]至是，乘机出湘、赣北伐。直下长江，兵势甚盛。何无忌为其所杀。刘毅亦为所败。刘裕撤兵还救，又把他打平。于是翦除异己者刘毅、诸葛长民和晋宗室司马休之等。[5]公元四一七年，大发兵灭后秦。此时正值后魏道武帝中衰之际，坐视而不能救。凉州诸国，都惴惴待晋兵之至。而裕以急于图篡，南还，长安遂为夏所陷。裕登城北望，流涕而已。公元四一九年，裕受晋禅，是为宋武帝。后三年而卒。自刘裕南还后，不复能经略北方。而北魏自太武帝即位后，复强盛。北方诸国，尽为所并。天下遂分为南北朝。