岳飞统领的部队之所以没有造反，在于部队内部成分复杂，并不是岳飞一个人能决定一切的。
绍兴三年，岳飞的部队有了正式番号“神武后军”，岳飞有了独立指挥作战的权力，这时候才是可以叫岳家军的开端。
当时岳飞只有几千人的部队，是宋高宗将宋军其他部队划拨给岳飞，才建立起完整的集团军编制。神武后军中有李山、吴全、吴锡、李横、牛皋五支部队，这时岳飞的部队才达到了2万人。
这些划拨过来的将领是服从命令加入岳家军的，他们对岳飞并没有什么特殊的感情色彩。后来岳飞队伍陆续收编的刘豫的伪军和各地的匪寇，以及北方的义军，这些人的目标和理想都有不同，虽然归岳飞指挥，但对岳飞只是作为上级看，让他们服从命令听指挥可以，让他们为了岳飞造反，是不可能的。
事实上，岳家军内绝大多数的将领并没有反对罢免岳飞的兵权，对岳飞被捕下狱也是听之任之的态度。
没有将领们的支持，即使岳飞想造反，也没有造反的条件和基础。
《宋史》记载，秦桧和张俊想诬陷岳飞，第一步就是要让岳家军第二号人物王贵来检举揭发岳飞，王贵一开始拒绝，后来被抓住把柄，也就乖乖听话了。
王贵和岳飞是老战友了，但王贵和岳飞的感情也仅限于正常的上下级关系。说明岳飞从来没有把心思花在联络属下关系上，没有想打造自己的势力范围。这就和刘光世不同了，以前刘光世刚被解除兵权，他的部下就发动了淮西兵变，大半个集团军集体叛逃了。
在这件事上，唯一能支持岳飞的将领只有张宪。张宪被抓后打死也不承认岳飞谋反，但这样的人在岳家军内并不多。
最后说点题外话，现在人们对岳飞的功过是非是有争论的，有些人对纪念岳飞很不以为然。但是我认为，现在人们纪念岳飞，已经不是纪念岳飞这个人，而是纪念赋予岳飞身上的忠、义、智、勇，这些值得传颂的美德。
就像纪念关羽一样，历史上的关羽也没有那么伟大，但后世为何把他作为武圣人看呢？因为关羽的形象是中国人的精神寄托，需要有一个神格化的人物来承载中国人的集体信仰。
我认为纪念岳飞没有什么不对。他被传颂的功绩和历史上他的实际表现，出现一些偏差也都是可以理解的。岳飞是一个精神信仰的载体，为了传承中国的价值观去纪念他，无可厚非。