司马迁来自于书香门第的史官世家。家学渊源的他，自幼受到父亲司马谈丰富文学涵养以及学术思想的熏陶。
司马氏先祖自周代起即任王室史官，掌管文史、星卜、祭祀等事宜。
五帝时代的颛顼帝命南正重掌管天文星象，北正黎掌管地宜事务；周宣王时，重黎的后裔失去了主管天文地理的职守，而恢复为司马氏，此便是司马迁这个家族世系的由来。
司马迁自述远古的祖先，追溯至颛顼时期的天官；他强调自己的史官家世，世系上推到重黎之后，自视有世典周史的荣耀。
渊源的家世
司马氏世代职掌周史。周惠王、襄王的时候，司马氏迁离周王畿内，到了晋国。晋国大夫范武子逃奔秦国，因而司马氏家族转入了少梁这个地方；其直系祖先，是战国中期秦国著名的武将司马错。
后来秦能攻打六国，不得不归功于司马错的高明策略。
秦惠王时期，司马错曾经在朝堂上与张仪辩论过“伐蜀与伐韩”的利害。司马错认为要有经济基础才能振国威。换言之，他认为伐蜀能得到的利益大于攻韩。
秦惠王采取了司马错的策略，并派他出兵巴蜀，结果“得胜而守之”。
司马错的孙子司马靳曾参与著名的“长平之战”。那一战，赵国被秦国坑杀四十余万而一蹶不振。
可以说，司马家族是秦国的功臣，他们为秦国奠定了一统天下的基础。司马靳其后也跟武安君白起一同被赐死在杜邮，葬在华池。
正是祖先的荣光，造就了司马家族伟大的抱负和历史责任感。
父亲的宏愿
司马迁的父亲是司马谈。他在还未做官时，就非常仰慕远祖作史官的荣耀，希望从他这一代开始恢复史官之职务，期盼自己能够像远祖一样，拥有史官的名号。他在汉武帝建元六年至元封元年间任太史令，任职三十年之久。
太史令的工作是负责编纂历法，测候天文、占卜祭祀，亦负责纂修历史，管理文书及收集、整理图书等。
《史记·太史公自序》中记载：“（司马谈）学天官于唐都，受易于杨何，习道论于黄子……”唐都是当时西汉时期精通天文的专家，杨何是传授《易经》的学者，黄子是研究道学之大师。
司马谈受业于三位学术领域不同的大师，因而具有广博的学问及黄老思想。
从《论六家要旨》可以看出司马谈的学力胆识，以及他对儒、墨、名、法和阴阳等家提出的精辟分析。
司马谈对儒、墨、名、法和阴阳等家的优劣、利弊、得失做了总结式的批判，却对道家思想给予了肯定。
而这种思想，对司马迁的人格和治学态度，皆带来了深远的影响。
司马谈因为先祖世典周史，期望能够传承史官家世，并将史官视为祖业，自然希望儿子司马迁能够继承。
史官在当时是最博学的存在，他们必须具备天地古今万物之事的知识储备。于是，司马谈希望在担任太史官之时，“天下遗文古事，靡不毕集”；而且在担任太史公的职位时，能够利用职务之便，撰写一部表彰明主贤君、忠臣死义之士的史书。
《史记》
第二个“孔子”
司马迁从小便在家里务农，他十岁起诵读古文，并接受父亲的启蒙教育。
渊源深厚的家学背景，对司马迁日后治学造成了深刻的影响。后来，他随着父亲来到了长安。
众所周知，长安在当时是西汉的政治、经济、文化的中心。这种学习条件，对于司马迁来说是非常有利的。他请教学问的对象，大多是名儒学者，如著名经学的大师孔安国，司马迁向其请教、学习古文，并且接受儒家思想教育。不仅如此，司马迁还涉猎了《左传》、《国语》等古文经书。
当时汉朝的文学环境，已经由汉朝初期的黄老之学，转变成汉武帝时期的独尊儒学，但是司马谈教育司马迁时，却采用了“多样教育之法”，除了自己所擅长的道家思想外，还有儒家的思想影响。他甚至还以培养史官的严苛要求，来教育司马迁。
所以，司马迁在当时所接受的知识，除了太史必备的天文星历等天官知识外，还有战国时代的百家学以及其他的古籍文献。
司马迁在父亲恢宏的理想教育计划下，拥有了丰富的知识基础。他在思想上留有黄老思想，精神上却是承袭孔子的儒学。正因如此，司马迁对于儒学的经典，可以有更加深刻的认识。
司马谈一直期望的，是恢复史家之名，完成“著史”的宏伟计划。遗憾的是，他在生前并没能完成这项工作。
司马谈推测在他死后，儿子必定做太史。因此，他千叮咛万嘱咐，要儿子一定不忘自己的计划。而司马谈的遗训除此之外，还希望司马迁以“六义”为依归，做第二个“孔子”。
司马迁在史学上的成就，可以说很大一部分功劳，要归于他的父亲司马谈；正是因为司马谈的用心栽培，司马迁才能有《史记》这样辉煌的作品。