檀道济军中有个兵士逃到魏营投降，把宋军的情况告诉了北魏。北魏就派出大军追赶檀道济，想把宋军围困起来。当天晚上，檀道济带领一批管粮的兵士在营寨里查点粮食。兵士手里拿着竹筹唱着计数，另一些兵士用斗子在量米。北魏的侦察兵见米袋里面都是满满的。
他立即报告主帅，说檀道济营里军粮还绰绰有余。魏将得到情报，以为前面来告密的宋兵是假投降，所以不敢进兵。檀道济在营里量的并不是白米，而是一斗斗的沙土，只是在沙土上覆盖着少量白米。檀道济最终凭借“唱筹量沙”之计顺利退兵。
檀道济为宋武帝披荆斩棘、打下半壁江山，声名远传，在军中势力更是根深蒂固，其左右心腹皆为死忠之士、百战之将，如此名望与权利并重之人，对王朝宗室是莫大的危险，又有奸人进献谗言，因此檀道济的存在就像是一根鱼刺横亘在帝王的咽喉之处，另刘裕寝食难安。
又适逢文帝久病难遇，执掌朝政大权的刘义康及刘湛心怀夺位野心，一心想要斩除檀道济这颗眼中钉，以绝后患。元嘉十三年，文帝召檀道济入京，其妻向氏担心檀道济安危，对他说道：“震世功名，必遭人忌，古来如此。朝廷今无事相召，恐有大祸。”
而檀道济坚信自己一身忠义，必得陛下信任，宽慰道：“我率师扺御外寇，镇守边境，不负国家，国家又何故负我心。”于是只身前往京都。当檀道济准备坐船回驻地的时候，他收到了被逮捕的诏书。檀道济被捕时，狠狠地把头巾摔在地上，说道：“乃复坏汝万里之长城！”
最终檀道济与其子，以及麾下的猛将全部被处斩。消息传到北魏，魏军将领十分高兴，说道：“济已死，吴子辈不足复惮。”于是连年南侵。世界上的事往往是当你困顿的时候，才发觉他是那么的弥足珍贵。
451年，也就是檀道济死后的十五年，北魏皇帝拓拔焘率大军抵达瓜步山，饮马长江，与刘宋都城建康隔江相望，江南地区上至皇帝，下至平民无不惊骇。宋文帝登上石头城北望，看着北魏军旗幡招展，他面有忧色的说道：“若道济在，岂至此！”
