公元383年，在淝水之战中，东晋以八万兵力打败前秦八十多万军队，成为我国战争史上的以少胜多的经典战例。东晋的军队为何战斗力如此强悍？因为他们是北府军，与怯薛军、夷丁突骑、玄甲军、岳家背嵬军并称“中国古代五大精锐部队”。

北府军战力强悍毋庸置疑，那它是怎么形成的呢？西晋永嘉之乱后，随着胡人南下，中原开始逐渐崩乱，北方人纷纷南迁。世家大族在建康（今南京）拥立司马睿为东晋皇帝有功，门阀掌握朝政大权。

经过一番征战，前秦逐渐统一北方，给东晋带来的巨大压力。东晋的辖境主要就是荆、扬二州，荆州位于上游，地广兵强，也是抵抗北方势力军事南下的重要据点，东晋在此设立了强有力的都督府，兵力占据朝廷大半。扬州是京畿所在，是国之根本，但是兵力配备上却远不如荆州，形成一个弱干强枝的局面。

一方面为了应对前秦的强大压力，一方面为了平衡国内荆、扬二州的军事实力，谢安任命侄儿谢玄为兖州刺史，监江北诸军事，北镇广陵（江苏扬州），组建北府军。379年，谢玄领徐州刺史，镇京口（今镇江），东晋称京口为“北府”，故谢玄组建的这支军队称为“北府军”。