377年，前秦天王苻堅(jiān)在名相王猛的輔佐下，先后攻取了東晉的梁、益二州，北并代國，西兼前涼，遠(yuǎn)征西域，完成了北方的統(tǒng)一。苻堅(jiān)志在天下一統(tǒng)，因此頻頻對(duì)僻居?xùn)|南的東晉用兵。面對(duì)巨大的軍事壓力，東晉宰相謝安推薦其侄謝玄為建武將軍、兗州刺史，領(lǐng)廣陵相、監(jiān)江北諸軍事，鎮(zhèn)守廣陵。誰也不會(huì)想到這將是一個(gè)改變歷史的選擇！

當(dāng)時(shí)廣陵、京口地區(qū)聚居著大量逃避北方戰(zhàn)亂而來的流民，他們心戀故國，因而勇猛無比。謝玄到任后，在這些人中召募勁勇，組建了一只新式軍隊(duì)，許多后來大名鼎鼎的人物均加入了這支隊(duì)伍，如劉牢之、劉裕、檀道濟(jì)等人。379年，謝玄率領(lǐng)這支軍隊(duì)改鎮(zhèn)京口，京口又名北府，因而將其軍命名為北府軍。

383年8月，前秦天王苻堅(jiān)親率步兵60萬、騎兵27萬，開始大舉南侵。大軍壓境之際，謝石、謝玄率8萬北府軍迎戰(zhàn)。11月，北府軍前鋒劉牢之率領(lǐng)五千精兵大敗秦軍，斬殺秦軍主將梁成及其所屬五萬軍隊(duì)，取得洛澗大捷。不久后的淝水之戰(zhàn)，謝玄率領(lǐng)八萬晉軍，擊潰了苻堅(jiān)、苻融所統(tǒng)率的前秦二十五萬大軍，苻融當(dāng)場被斬殺，苻堅(jiān)身中數(shù)箭，落荒而逃。

此戰(zhàn)后，強(qiáng)盛一時(shí)的前秦土崩瓦解，東晉王朝雖無力恢復(fù)統(tǒng)一中國，但卻出兵收復(fù)了黃河以南的領(lǐng)土，有效地遏制了北方少數(shù)民族的南下侵?jǐn)_，保住了東南半壁江山，也使得流落到南方的漢族中原文化得以延續(xù)和發(fā)展，謝氏領(lǐng)導(dǎo)的北府軍為此發(fā)揮了極為關(guān)鍵的作用。

淝水之戰(zhàn)使得謝氏的名譽(yù)達(dá)到了頂點(diǎn)，東晉孝武帝開始逐漸不信任謝氏，他先后解除謝安的宰相職務(wù)，以及謝玄的兵權(quán)。孝武帝任命自己的兄弟司馬道子為相，總理朝政，同時(shí)任命自己的妻兄王恭統(tǒng)帥北府軍。此后王恭與司馬道子發(fā)生矛盾，北府軍成為朝廷內(nèi)部火并的工具。之后北府軍司馬劉牢之在得到司馬道子的許諾后，將王恭殺死，成為北府軍的新統(tǒng)帥。

399年，孫恩、盧循發(fā)動(dòng)農(nóng)民起義，起義軍迅速占領(lǐng)江東八郡。東晉朝廷見起義軍聲勢浩大，急忙派劉牢之率北府兵前往鎮(zhèn)壓，孫恩戰(zhàn)敗后自殺。在對(duì)付孫恩的起義軍中，一位將領(lǐng)脫穎而出，此人就是后來的宋武帝劉裕。

402年，東晉朝廷的執(zhí)政者司馬元顯決定討伐準(zhǔn)備擁兵叛亂的桓玄，派出劉牢之為前鋒都督，率北府軍征討。劉牢之也是位軍事天才，政治上的弱智，他接受桓玄的許諾，選擇背叛朝廷。最終桓玄北齊諾言，大肆殺戮北府軍將領(lǐng)，軍隊(duì)責(zé)備桓玄瓜分，劉牢之被迫自殺。

404年，北府軍將領(lǐng)劉裕在京口舉兵，反抗桓玄，重建北府軍。北府軍在劉裕的統(tǒng)帥下，再次大顯聲威。滅南燕、平后秦，卻月陣大破北魏騎兵，如果不是劉裕選擇返回江南，甚至大有重整天下之勢。劉裕死后，北府軍依然是劉宋王朝抵御北魏的重要軍事力量。436年，北府軍最后一員名將檀道濟(jì)被殺，至此這只由流民組成的精銳軍事力量才正式落下帷幕。