天汉二年(公元前99年)，正当司马迁全身心地撰写《史记》之时，却遇上了飞来横祸，这就是李陵事件。
这年夏天，武帝派自己宠妃李夫人的哥哥、二师将军李广利领兵讨伐匈奴，另派李广的孙子、别将李陵随从李广利押运辎重。李陵带领步卒五千人出居延，孤军深入浚稽山，与单于遭遇。匈奴以八万骑兵围攻李陵。经过八昼夜的战斗，李陵斩杀了一万多匈奴，但由于他得不到主力部队的后援，结果弹尽粮绝，不幸被俘。李陵兵败的消息传到长安后，武帝本希望他能战死，后听说他却投了降，愤怒万分，满朝文武官员察言观色，趋炎附势，几天前还纷纷称赞李陵的英勇，却附和汉武帝，指责李陵的罪过。汉武帝询问太史令司马迁的看法，司马迁一方面安慰武帝，一方面也痛恨那些见风使舵的大臣，尽力为李陵辩护。他认为李陵平时孝顺母亲，对朋友讲信义，对人谦虚礼让，对士兵有恩信，常常奋不顾身地急国家之所急，有国士的风范。司马迁痛恨那些只知道保全自己和家人的大臣，他们如今见李陵出兵不利，就一味地落井下石，夸大其罪名。他对汉武帝说:"李陵只率领五千步兵，深入匈奴，孤军奋战，杀伤了许多敌人，立下了赫赫功劳。在救兵不至、弹尽粮绝、走投无路的情况下，仍然奋勇杀敌。就是古代名将也不过如此。李陵自己虽陷于失败之中，而他杀伤匈奴之多，也足以显赫于天下了。他之所以不死，而是投降了匈奴，一定是想寻找适当的机会再报答汉室。"
司马迁的意思似乎是二师将军李广利没有尽到他的责任。他的直言触怒了汉武帝，汉武帝认为他是在为李陵辩护，讽刺劳师远征、战败而归的李广利，于是下令将司马迁打入大牢。
司马迁被关进监狱以后，案子落到了当时名声很臭的酷吏杜周手中，杜周严刑审讯司马迁，司马迁忍受了各种肉体和精神上的残酷折磨。面对酷吏，他始终不屈服，也不认罪。司马迁在狱中反复不停地问自己“这是我的罪吗?这是我的罪吗?我一个做臣子的，就不能发表点意见？”不久，有传闻说李陵曾带匈奴兵攻打汉朝。汉武帝信以为真，便草率地处死了李陵的母亲、妻子和儿子。司马迁也因此事被判了死刑。
据汉朝的刑法，死刑有两种减免办法:一是拿五十万钱赎罪，二是受"腐刑"。司马迁官小家贫，当然拿不出这么多钱赎罪。腐刑既残酷地摧残人体和精神，也极大地侮辱人格。司马迁当然不愿意忍受这样的刑罚，悲痛欲绝的他甚至想到了自杀。可后来他想到，人总有一死，但"死或重于泰山，或轻于鸿毛"，死的轻重意义是不同的。他觉得自己如果就这样"伏法而死"，就像牛身上少了一根毛，是毫无价值的。他想到了孔子、屈原、左丘明和孙膑等人，想到了他们所受的屈辱以及所取得的骄人成果。司马迁顿时觉得自己浑身充满了力气，他毅然选择了腐刑。面对最残酷的刑罚，司马迁痛苦到了极点，但他此时没有怨恨，也没有害怕。他只有一个信念，那就是一定要活下去，一定要把《史记》写完，"是以肠一日而九回，居则忽忽若有所亡，出则不知所往。每念斯耻，汗未尝不发背沾衣也。"正因为还没有完成《史记》，他才忍辱负重地活了下来。