单于大喜，于是便派骑兵合攻汉军，并大声疾呼：“李陵、韩延年趣降！”（《汉书·李广苏建传》）汉军在谷中，匈奴在山上，四面对射，矢如雨下。汉军南撤，未至鞮汗山，一日五十万矢皆尽，即弃而去。此时，汉军尚有三千余人，以短刀，车辐为武器，退至一峡谷内，被匈奴阻断后路。单于隐藏在汉军身后，在角落里向汉军投石，汉军多数战死，无法前行。
黄昏后，李陵穿便衣独步出营，良久而还，长叹说：“兵败，死矣！”军吏说：“将军威震匈奴，天命不遂，后求道径还归，如浞野侯为虏所得，后亡还，天子客遇之，况于将军乎！”李陵说：“公止！吾不死，非壮士也。”（《汉书·李广苏建传》）于是斩尽旌旗，将珍宝埋于地中。
李陵慨叹说：“复得数十矢，足以脱矣。今无兵复战，天明坐受缚矣！各鸟兽散，犹有得脱归报天子者。”夜半李陵与成安侯韩延年率壮士十余人突围，被匈奴数千骑兵追击，韩延年战死。
匈奴招降李陵，李陵曰：“无面目报陛下。”（《史记·李将军列传》）遂降匈奴。仅有四百余人回到了汉境。这场战役李陵以步兵与匈奴骑兵抗衡，孤军苦战，充分发挥了远射兵器弓、弩的作用，杀伤匈奴骑兵万余，其战术运用和战役指挥是成功的。但是由于汉军未能对李陵部实施必要的接应和支援，实力相差悬殊，最终造成李陵几乎全军覆灭。
李陵战败后，武帝召见了李陵的妻母，后听说李陵投降，大怒而责，陈步乐自杀，群臣皆言李陵有罪。武帝问太史令司马迁，司马迁盛言：“陵事亲孝，与士信，常奋不顾身以殉国家之急。
其素所畜积也，有国士之风。今举事一不幸，全躯保妻子之臣随而媒蘖其短，诚可痛也！且陵提步卒不满五千，深輮戎马之地，抑数万之师，虏救死扶伤不暇，悉举引弓之民共攻围之。
