司马迁自称其先祖是颛顼时期的天官，《史记·太史公自序》记载“昔在颛顼，命南正重司天，火正黎司地。唐、虞之际，绍重、黎之后，使复典之，至于夏、商，故重、黎氏世序天地。”周宣王时期，司马迁的祖上来到秦国。
他的直系八世祖先是战国中后期秦国著名的武将司马错。秦惠文王时期，司马错曾经在朝堂上与张仪辩论，辩论内容被收入《战国策·秦策》，后收入《古文观止》，名为《司马错论伐蜀》。辩论胜利后，秦惠文王派司马错等人出兵巴蜀，得胜而守之。
六世祖司马靳（司马错次孙）为名将武安君白起副手，参与长平之战，坑杀赵卒四十万人，司马错、司马靳等军事之功为秦国奠定了一统天下的军事基础。
高祖司马昌是秦始皇的铁官。曾祖司马无泽，在汉初作长安的一个“市长”（管理市场）。祖父司马喜，没有做官，而有第九等爵位，为五大夫。
司马迁的父亲是西汉武帝时期太史令司马谈。司马谈是当时一位非常杰出的学者，著有《论六家要旨[7]》一文，系统总结了春秋战国秦至汉初以来阴阳、儒、墨、法、名、道各家思想的利弊得失，并对道家思想进行了高度肯定，该文是对春秋战国以来的诸子百家思想的高度概括和凝练总结。司马谈在约汉武帝建元六年至元封元年间任太史令。
公元前145年前后，司马迁出生于家乡夏阳（今陕西省韩城市），从小受到良好的教育。在《史记·太史公自序》上，司马迁说：“迁生龙门，耕牧河山之阳。年十岁则诵古文。” 二十岁时，他从长安出发，足迹遍及江淮流域和中原地区，所到之处考察风俗，采集传说。司马迁在《太史公自序》中说“（他）二十而南游江、淮，上会稽，探禹穴，窥九疑，浮沅、湘。北涉汶、泗，讲业齐鲁之都，观夫子遗风，乡射邹峄；厄困蕃、薛、彭城，过梁、楚以归。于是迁仕为郎中，奉使西征巴、蜀以南，略邛、莋、昆明，还报命。” 二十五岁时，他又以使者监军的身份，出使西南夷，担负起在西南设郡的任务。足迹遍及“邛、莋、昆明”等地。
汉武帝元封元年（前110年）司马谈去世，三年之后，司马迁承袭父职，任太史令，同时也继承父亲遗志（司马谈临终曾对司马迁说：“余死，汝必为太史；为太史，无忘吾所欲论著矣。”)，准备撰写一部通史。汉武帝太初元年（前104年），司马迁与唐都、落下闳等共同定立了“太初历”，该历法改变了秦代使用的颛顼历以十月为岁首的习惯，而改以正月为岁首，从而，为中国的农耕社会奠定了其后两千年来所尊奉的历法基础。之后司马迁便潜心修史，专心写作，开始了《史记》的写作。
司马迁的著作，除《史记》外，《汉书·艺文志》还著录赋八篇，均已散失，唯《艺文类聚》卷30引征《悲士不遇赋》的片段和有名的《报任安书》（即《报任少卿书》）。《报任安书》表白了他为了完成自己的著述而决心忍辱含垢的痛苦心情，是研究司马迁生平思想的重要资料，也是一篇饱含感情的杰出散文。《悲士不遇赋》也是晚年的作品，抒发了作者受腐刑后和不甘于“没世无闻”的愤激情绪。
