漢武帝為他的勇氣所感，便同意了，並令強駑都尉路博德領兵在中途迎候李陵的部隊。
路博德以前擔任過伏波將軍，也羞於做李陵的後備，便上奏：“現在剛進秋季正值匈奴馬肥之時，不可與之開戰，臣希望留李陵等到春天，與他各率酒泉、張掖五千騎兵分別攻打東西浚稽山（今蒙古杭愛山脈東南段，一說為今圖音河下游的“古爾班博格多山”，在戈壁阿爾泰山以北、杭愛山以南），必將獲勝。”
漢武帝劉徹見奏大怒，懷疑是李陵後悔不想出兵，所以才指使路博德上書的，於是傳詔給路博德說：“我想給李陵馬匹，他卻說什麼“要以少擊眾”，現在匈奴侵入西河，速帶你部趕往西河，去鉤營阻擋敵軍。”
漢武帝又傳詔給李陵說：“應在九月發兵，應從遮虜障（今內蒙古額濟納旗東南，一說即居延塞）出塞，到東浚稽山南面龍勒水一帶，徘徊以觀敵情，如無所見，則沿著浞野侯（趙破奴）走過的路線抵受降城休整，將情況用快馬回朝報告。你與路博德說了些什麼？一併上書說清楚。”
天漢二年（前99年）九月，在漢武帝的催促下，李陵率領五千步兵從居延出發，向北行進三十天，於十月到浚稽山紮營。他將所經過的山川地形繪製成圖，派手下騎兵陳步樂回朝稟報。陳步樂被召見，陳說李陵帶兵有方，能“得（將）士死力”，漢武帝劉徹感到非常高興，於是任陳步樂為郎官。
就在此時，李陵在浚稽山遭遇到了且鞮侯單于率領的主力，被匈奴三萬多騎兵包圍。李陵軍駐紮在東西兩浚稽山之間（有研究者認為其紮營處當在 “浚稽山”以北、杭愛山以南），以輜重車作為營壘，李陵領兵衝出營壘擺開隊伍，前排持戟和盾，後排用弓和弩，下令道：“聽到鼓聲就進攻，聽到鳴金就收兵。”匈奴見漢軍人少，徑直撲向漢軍營壘。李陵揮師搏擊，千弩齊發，匈奴兵應弦而倒。匈奴軍敗退上山，漢軍追擊，殺匈奴兵數千。且鞮侯單于大驚，召集左賢王、右賢王部八萬多騎兵一起圍攻李陵。李陵向南且戰且走，幾天後被困在一個山谷中。連日苦戰，很多士卒都中箭受傷，三處受傷者便用車載，二處受傷者駕車，一創者堅持戰鬥。
李陵說：“我軍士氣稍稍削減，又難以振奮，是何原因？莫非是軍中有女人麼？”原來，軍隊出發時，有些被流放到邊塞的“關東群盜”的妻子隨軍做了士兵們的妻子，大多被藏匿在車中。李陵把她們搜出來，全部殺死。第二天，漢軍再戰，果然斬得匈奴首級三千餘級。漢軍向東南方突圍，沿著舊龍城道撤退，行進四五日，到達大澤蘆葦之中。匈奴軍在上風向縱火，李陵令將士放火燒出一塊隔離帶，才得以自救。漢軍又退到一座山下，且鞮侯單于已佔領了南面的山頭，命他的兒子率騎兵向李陵發起攻擊。漢軍步兵在樹林間與匈奴騎兵拼殺，又殺匈奴兵數千人，併發連弩射擊且鞮侯單于，且鞮侯單于下山退走。
這天，李陵捕得俘虜，俘虜供出：“單于說：‘這是漢朝的精兵，久攻不能拿下，卻日夜向南退走把我們引到塞邊，會不會有伏兵呢？’而許多當戶和君長都說：‘單于親率數萬騎兵攻打數千漢朝人，卻不能把他們消滅，那以後將無法再調動邊臣，將使漢朝越發輕視匈奴。務必在山谷間再度猛攻，還有四五十里才到平地，不能破敵，就退回來。’”這時，漢軍處境更加險惡，與匈奴騎兵整日交戰，多達數十回合，使匈奴兵死傷二千餘人。
在李陵的頑強抵抗下，匈奴方面損失頗重，認為不能取勝，一度準備撤走。
恰逢李陵軍中有一個叫管敢的軍侯，因被校尉凌辱而逃出投降了匈奴。對且鞮侯單于說：“李陵軍無後援，並且箭矢已盡，只有他麾下和成安侯（韓延年）手下各八百人排在陣前，分別以黃、白二色作旗幟，應當派精銳騎兵射殺旗手，即可破陣。”且鞮侯單于得到管敢，大喜，命騎兵合力攻打漢軍，邊打邊喊：“李陵、韓延年快降！”接著擋住去路猛烈攻打李陵。李陵處在山谷底，匈奴軍在山坡上從四面射箭，矢如雨下。漢軍堅持南行，未等衝到鞮汗山，一天之中五十萬支箭已全部射光，便丟棄戰車而去。
當時，漢軍還剩下三千多名士兵，赤手空拳的就斬斷車輻當武器，軍吏們也只有短刀。又被一座大山所阻折入峽谷。單于切斷了他們的退路，在險要處放下壘石，很多漢軍士卒被砸死，不能前進。
黃昏後，李陵換上便衣獨步出營，攔住左右說：“不要跟著我，大丈夫一個人去捉單于就足夠了！”過了很久，李陵才回來，嘆息說：“兵敗至此，只求一死！”有的軍吏說：“將軍威震匈奴，陛下不會讓您死，以後可想別的辦法回去，像浞野侯雖被匈奴俘獲，但後來逃回去，天子仍以禮相待，何況對將軍您呢！”李陵說：“你別說了，我不死，不是壯士。”
於是李陵要部下把旌旗都砍斷，把珍寶埋藏在地下。又扼腕道：“再有幾十支箭，足以逃跑了，可現在無武器再戰，天一亮就只有束手待擒了。不如各作鳥獸散，還可能有脫身逃回去報告天子的人。”
李陵令將士們每人拿上二升乾糧，一大塊冰，約定在遮虜鄣會合。夜半時分，李陵等擊鼓突圍，但鼓聲最終未響。
李陵與韓延年一同上馬，十多名壯士和他們一道衝出。匈奴派出數千騎兵緊追，韓延年戰死，李陵長嘆：“我無臉面去見陛下呀！”只得向匈奴投降。他的部下四散逃命，成功逃到邊塞的僅有四百餘人。
李陵兵敗之處離邊塞只有百餘里，邊塞的官兵把情況報告到了漢朝廷，漢武帝料想李陵已戰死，就把他母親和妻子召來，要相面的人來看，卻說他們臉無死喪之色。
後來才得知李陵已降匈奴，漢武帝因此大怒，責問陳步樂，陳步樂害怕被追責受刑，於是就自殺了。文武百官都罵李陵，漢武帝以李陵之事詢問太史令司馬遷的意見，司馬遷為李陵辯解道：“李陵服侍母親孝順，對士卒講信義，常奮不顧身以赴國家危難。他長期以來養成了國士之風。如今他一次戰敗，那些為保全身家性命的臣下便攻其一點而不計其餘，實在令人痛心！況且李陵提兵不滿五千，深入匈奴腹地，搏殺數萬之師，敵人被打死打傷無數而自救不暇，又召集能射箭的百姓來一起圍攻。他轉戰千里，矢盡道窮，戰士們赤手空拳，頂著敵人的箭雨仍殊死搏鬥奮勇殺敵，得到部下以死效命，就是古時的名將也不過如此。他雖身陷重圍而戰敗，但他殺死殺傷敵人的戰績也足以傳揚天下。他之所以不死，是想立功贖罪以報效朝廷。”
起初，漢武帝劉徹派李廣利率領大軍出征，只令李陵協助運輸，後來李陵與匈奴單于主力戰鬥，李廣利卻少有戰功。
天漢四年（前97年），漢武帝劉徹再發天下七科謫戍，及四方壯士，分道北征。貳師將軍李廣利，帶領馬兵六萬，步兵七萬，出發朔方，作為正路。強弩都尉路博德，率萬餘人為後應。游擊將軍韓說，領步兵三萬人出五原，因杅將軍公孫敖，領馬兵萬人，步兵三萬人出雁門。各將奉命辭行，漢武帝獨囑公孫敖道：“李陵敗沒，或說他有志回來，亦未可知。汝能相機深入，迎陵還朝，便算不虛此行了！”
公孫敖遵命去迄，三路兵陸續出塞，即有匈奴偵騎，飛報且鞮侯單于。且鞮侯單于盡把老弱輜重，徙往餘吾水北，自引精騎十萬，屯駐水南。待至李廣利兵到，交戰數次，互有殺傷。李廣利毫無便宜，且恐師老糧竭，便即班師。匈奴兵卻隨後追來，適值路博德引兵趨至，接應李廣利，胡兵方才退回。李廣利不願再進，與路博德一同南歸。游擊將軍韓說，到了塞外，不見胡人，也即折回。因杅將軍公孫敖，出遇匈奴左賢王，與戰不利，慌忙引還。自思無可報命，不如捏造謊言，復奏漢武帝。但言捕得胡虜，供稱李陵見寵匈奴，教他備兵御漢，所以臣不敢深入，只好還軍。你要逞刁，看你將來如何保全？漢武帝本追憶李陵，悔不該輕遣出塞，此次聽了敖言，信為真情，立將陵母及妻，飭令駢誅。陵雖不能無罪，但李陵母及妻，實是公孫敖一人斷送。隴西一帶士人都以李陵不能死節而累及家族為恥。
然後漢武帝就認為司馬遷之前為李陵求情是欺騙自己，是想詆譭李廣利將軍而為李陵說情，認為他犯了大罪，應該死刑，於是把他投入獄中。
當時漢律規定死刑可透過繳納贖金或接受宮刑豁免。根據記載，當時太史令的月俸約為六百石，而五十萬錢贖金相當於四個月工資（按當時物價折算）。但是司馬遷一直致力寫作，而且家裡家產不足以支付贖金，且他為官清廉，無多餘財產可動用，也沒有什麼朋友可以借錢幫助他。
司馬遷真的不甘心就這樣死去，在監獄裡他回想在漢武帝元封元年（前110年）春天，漢武帝東巡渤海返回的路上，在泰山舉行封禪大典。
父親司馬談身為參與制定封禪禮儀官員，卻因病留滯在周南，未能繼續前行，更因此而心中憤懣，以致病情加重。奉使西南的司馬遷在完成任務後，立即趕往泰山參加封禪大典，行到洛陽，卻見到了命垂旦夕的父親。
彌留之際的司馬談對司馬遷說：“我們的祖先是周朝的太史。遠在上古虞舜、夏禹時就取得過顯赫的功名，主管天文工作。後來衰落了，難道要斷送在我這裡嗎？你繼為太史，就可以接續我們祖先的事業了。如今天子繼承漢朝千年一統的大業，到泰山封禪，而我不得從行，這是命中註定的啊。我死以後，你一定會做太史；做了太史，你千萬不要忘記我要編寫的論著啊。況且孝，是從侍奉雙親開始的，中間經過事奉君主，最終能夠在社會上立足，揚名於後世，光耀父母，這是孝中最主要的。天下稱頌周公，是說他能夠歌頌周文王、武王的功德，宣揚周、召的遺風，使人懂得周太王、王季的思想以及公劉的功業，以使始祖后稷受到尊崇。周幽王、厲王以後，王道衰落，禮樂損壞，孔子研究、整理舊有的文獻典籍，振興被廢棄了的王道和禮樂。整理《詩》、《書》，著作《春秋》，直到今天，學者們仍以此為法則。從魯哀公獲麟到現在四百多年了，其間由於諸侯兼併混戰，史書丟散、記載中斷。如今漢朝興起，海內統一，賢明的君主、忠義的臣子的事蹟，我作為太史而不予評論記載，中斷了國家的歷史文獻，對此我感到十分不安，你可要記在心裡啊。”
司馬遷低下頭流著淚說：“小子雖然不聰敏，但是一定把父親編撰歷史的計劃全部完成，不敢有絲毫的缺漏。”
很久以後，漢武帝悔悟到李陵是無救援所致，說：“李陵出塞之時，本來詔令強弩都尉（路博德）接應，只因受了這奸詐老將奏書的影響又改變了詔令，才使得李陵全軍覆沒。”於是派使者慰問賞賜了李陵的殘部。
司馬遷回想父親的遺囑，面對大辟之刑，慕義而死，雖然名節可保，然書未成，名未立，這一死如九牛亡一毛，與螻蟻之死無異。
。作而懣憤洩發人聖士賢是都概大，篇百三》詩《，》憤孤《和》難說《作，國秦囚被非韓，世傳》秋春氏呂《有才地蜀貶被韋不呂，法兵修後刑之腳臏遭臏孫，》語國《有乃明失丘左，》離《有賦才逐放原屈，》秋春《作著時之厄困尼仲孔，》易周《演推而室囚於拘王文周到想遷馬司
。命使的公史太於屬個那完，中辱屈與忍堅在。怯無而刑極對面，想理的完能未也生一盡窮親父著負揹遷馬司，此至。死贖刑腐以了擇選然毅遷馬司，代時的”決引能猶妾婢獲臧“個那在，於終
。已不恨恨下言”。干何我與，為所緒李是這“：道作陵李，遍一述備，言所敖孫公將即使漢。使漢問詰得不免，戮誅被屬家己自知聞已陵李，唁弔往前人派亦廷朝漢。喪報廷漢至使遣，立繼姑鹿狐子，死病于單侯鞮且而既
。回放才後死氏閼大到等，方北到藏他把于單，陵李掉殺要，後道知氏閼大的奴匈。緒李了殺刺人派便，誅被家全己自使而兵練奴匈為他恨陵李。上之陵李在次坐，加有禮優他對于單奴匈。了降投便攻來奴匈，城侯奚守駐，尉都外塞的朝漢為原緒李
。議計召被才事大到遇，邊外在住陵李而；右左於侍常經，寵于單很律衛中其。族貴的權掌奴匈了都們他使，王靈丁為律衛立，王校右為他立並，陵李給嫁兒把，陵李重看很于單
：道嘆詩有。了臣功輔夾的奴匈似好就們他
；圍被竟窮援盡矢，威餘戰轉軍孤
？譏辭怎國叛家亡，死不偏危臨惜可
。明表節章下至待，置何如帝武漢知。了來賊盜起做，群聚嘯，險走而鋌遂，法苛刑嚴，徵橫斂暴了為卻，民人東山那，奴匈服征能不帝武漢
？耶沒陷軍孤令聽而，應接將他使不，塞出人遣然突得安，多事是更，老垂已年帝武漢，進輕險冒，力量自不即彼，胡強挑橫，口虎以直簡，人千五只，下部陵李而，來回有沒年多麼那了去經已，者使當去武蘇？和言端無肯豈，常無覆反，詐多人夷思試。軍出之陵李使即而怒一，好修之武蘇使即而喜一，欺所于單侯鞮且為故，胡平在志帝武漢。功無討累，服不強恃奴匈獨，平敉得俱，面三南西東，息不年連，武黷兵窮，年十數位在帝武漢
