东晋最著名的将领刘牢之便是出自其中。《资治通鉴》写道：“太元初，谢玄北镇广陵，时苻坚方盛，玄多募劲勇……选以牢之为参军，领精锐为前锋，百战百胜，号为北府兵，敌人畏之”。还有后来的南朝第一帝刘裕，靠着北府军，从寄奴到皇帝成了人生大赢家。有这样的军队和将领，谢玄要说一句：“苻坚，我就问你怕不怕。”
是宝剑，必要有出鞘的时刻。很快，北府军试手的时候到了。太元四年，按耐不住的苻坚终于对东晋发动了进攻，到了太元五年二月，前秦攻下襄阳，西线溃败，而东线的彭城也被前秦打的奄奄一息。此时的苻坚肯定意气风发，心想扫平东晋，一统天下指日可待。没想到，这时候他的恶梦出场。
此诚危急存亡之秋也，于是北府军上场了。“兄弟们，上场了，冲啊”！谢玄亲率高衡、何谦，领着北府军先是解了彭城之围。之后又带着北府军再一次救援三阿！要知道，当时前秦将领围困三阿，而三阿距离首都南京直线距离只要两百多公里，这把东晋上至皇帝，下至百姓吓得够呛，指不定有一天就打到南京了。
北府军救援三阿，与敌人短兵相接，大胜敌军，解了三阿之围，随后又在盱眙大败前秦，一路把前秦军队追到了淮阴，再败前秦于君川（今江苏盱眙北）。至此，东晋稳住了局面，前秦的进攻计划在北府军面前一败涂地。
这下，激怒了前秦大老板苻坚，亲自挂帅，率领八十万氏族大军，看着自己身后浩浩荡荡，连绵不绝的大军，苻坚饮马长江，发出投鞭断流的感慨。我这八十万大军，还不把你东晋一锅端了。当苻坚饮马长江时，肯定想不到淝水就是自己的滑铁卢。东晋真正生死存亡的时候到了，北府军最大的战绩，足以天下闻名，留名青史的一战也到了。
东晋任命谢玄为先锋，谢琰、恒伊为副将，领着八万北府军迎击秦军。猛将刘牢之一马当先，仅仅用五千北府军就一举歼灭前秦五万军马。这一灭，灭的苻坚胆战心惊，开始命令全军后撤，这一撤，撤的苻坚一败涂地。
这一撤，如滔滔江水一发不可收拾，北府军见敌人撤退，渡过肥水，乘胜追击，后面的前秦军队一看前军被追的往后跑，以为兵败，加上北府军勇猛，穷追不舍，前秦军队时期溃败，军心大乱，被北府军在淝水杀的血流成河，尸塞淝水，苻坚八十万大军败在八万北府军，成就了战争史上以少胜多的经典战列。
北府军一路收复河南以南的地区，甚至一度攻入黄河以北的邺。北府军至此成为王牌中的王牌，在那个时代应该是特种兵式的存在，可以高唱“无敌是多么的寂寞”。
