新野太守朱超石、宁朔将军胡藩率部由襄阳赴阳城（今河南登封东南），策应洛前锋主力，从南面进攻洛阳；振武将军沈田子、建威将军傅弘之率部由襄阳趋武关（今陕西商南西南），牵制关中的后秦军；冀州刺史王仲德统领前锋诸军，经泗水开巨野泽（今山东巨野北）入河水（今黄河）。
九月，檀道济和王镇恶进入后秦境，连战告捷。秦将王苟生献漆丘（今河南商丘东北）降王镇恶，徐州刺史姚掌以项城（今河南沈立）降檀道济。其它要点屯守兵力，亦望风降附。檀道济又破新蔡（今属河南），执杀太守董遵，进克中原重镇许昌，擒获秦颍川太守姚垣及大将杨业。
十月，檀道济与王镇恶会师成皋（今荥阳西北）。后秦阳城、荥阳（今荥阳东北）二城皆降。镇守洛阳的后秦征南将军姚洸求救于长安。后秦主姚泓派越骑校尉阎生率骑兵3000人，武卫将军姚益男率步兵1万前往助守。同时遣并州牧姚懿自蒲阪（今山西水济西南）进屯陕津（即茅津，今河南三门峡市西黄河上）为后援。
不久，成皋、虎牢（今河南荥阳西北）守军相继降晋。檀道济与王镇恶、沈林子等长驱而进。石无讳退还洛阳，赵玄战死。檀道济进逼洛阳，姚洸出降，俘秦军4000余人。有人提议将俘虏杀死以为“京观”，檀道济不同意，说：“伐罪吊民，正在今日”（《宋书·檀道济列传》）将其全部释放。
于是羌人感悦，归者甚众。檀道济的此举，为刘裕进关中打下了良好的基础。后秦援军阎生、姚益男等得知洛阳失陷，不敢往援，晋军占领洛阳。他一路上连战皆胜，俘虏了许多战俘。有人建议将战俘杀死，把尸体堆在一起成为京观。但檀道济却说“讨伐罪人，哀愍百姓，正在今日。”
随即下令将战俘释放。此后檀道济率兵发动奇袭，突入潼关，最终帮助刘裕平定后秦。刘裕死后，其子刘义符即位，辅政大臣谢晦、傅亮、徐羡之将其废掉，檀道济被迫参与其中。宋文帝即位后，先后除掉谢晦、傅亮、徐羡之等人，唯独没有对檀道济下手。
因为宋文帝知道，此时北魏政权崛起，多次南下挑衅，这是因为檀道济的存在，北魏军队才不敢大举南下，檀道济是自己的“万里长城”。檀道济戎马三十年，他根据自己的作战经验，总结出“三十六计”。此外他最著名的战例当属“唱筹量沙”了。430年，檀道济率军出战，但粮草吃紧。
