狭义相对论相对简单：入门数学只需高中代数、导数、微分，更深一步还需要积分、微分方程、场论分析；建议使用的物理书籍：林为民的《图说相对论》，理查德.费曼的《费曼物理学讲义》第一卷第15至17章等，《电动力学》中关于狭义相对论的部分。关于狭义相对论的书很多，任选也没什么不妥。
广义相对论艰深得多：数学需要：张量分析、黎曼几何或高维空间的微分几何、偏导数、多重积分、常用坐标系的变换、非线性偏微分方程组的求解，建议看：俞允强的《广义相对论引论》、温伯格的《引力论和宇宙论》。
建议书至少得看三遍：第一遍浏览一下，一般是大部分都不懂；复习一下我说的那些数学，再细看第二遍，建议自己做个笔记，主要将公式及其编号集中记录下来，便于后面对前面公式引用时的查找，也利于熟悉公式本身，同时动笔把一些简洁的新符号试着展开几次，展成原来熟悉的但较繁杂的形式，再推导一下书中的部分公式；第三遍，尽可能将所有公式的来龙去脉都弄清，将公式与物理图景更紧密地联系起来，也做做习题……
我对相对论也仅入门，大抵也只能说这些了，希望对你有些帮助。
关于量子力学——
数学基础：微积分、微分方程、数学场论、行列式、矩阵、线性代数、排列组合、概率论。
物理基础：普通物理，原子物理，理论力学，统计力学。
数学部分就是大学的数学书，比如四川大学编的物理类专用的《高等数学》三本等等。
物理部分推荐《费曼物理学讲义》第三卷以及赵凯华主编的新概念物理学系列，或者就是大学物理书即可。
再补充几点：
1）数学部分，《数学物理方法》中的偏微分方程的级数解法、泛函分析、复变函数等内容也会用到；对易代数似乎没有专门的数学书，就是在学量子力学时同步学习的；《群论》也很重要，但那是相当高程度时才需要，现在先不必学。
2）物理部分，要学会狭义相对论，较高程度的量子力学都是相对论性的，比如著名的狄拉克方程。
3）个人建议，立即就开始自学量子力学，没有人学一两遍就学懂，通常都要反反复复好几遍才能入门，所以，你现在就开始第一遍的学习也没多大关系，只是要做好思想准备——会遇到许多困难，不少地方得暂时放一放，等待第N遍学习时再吃透它。在多遍研习量子力学的间隙将那些基础补齐，我看是适宜的。
追问这些书有看的过程么?有先后的建议么？
追答那些书我就是按照我认为的难易程度顺序排列的，较难的排在较后。
我又想起一本，原先的排列更改如下：林为民的《图说相对论》、赵凯华的《新概念力学十讲》的第七第八讲、理查德.费曼的《费曼物理学讲义》第一卷第15至17章等、《电动力学》中关于狭义相对论的部分。