因为行营后护军（俗称岳家军）并不是岳飞的私兵。
岳飞的部队的基础，是他在东京留守司时所率领的小部队。他后来跟随东京留守杜充南下，到江淮司工作的时候，已经有数千人的队伍了。
再后来是马家渡战败，都统制陈粹战死，他断后退出战场，之后成为流散部队。这个时期南宋政府已经崩溃，宋高宗放散百官，本人出海跑路了。
再等到重建政府的时候，岳飞已经有了独立成为一只军队的潜力了。
到绍兴二年（1132年），岳飞转战湖南广西等地，收编了韩京部，剿灭了原为东京留守司将领的叛军曹成部，兵力又获得了进一步的发展。
今张俊军三万，有全装甲万副，刀枪弓箭皆备；韩世忠军四万；岳飞军二万三千；王躞军一万三千，虽不如俊之军，亦皆精锐；刘光世军四万，老弱颇众，然选之亦可得其半。又神武中军杨沂中，后军巨师古，皆不下万人。而御前忠锐如崔增姚端张守忠等军，亦二万。（《建炎以来系年要录》卷六十）
绍兴三年，按照中央政府的规划，岳飞先后收编了由北方义军、伪齐溃军等杂牌部队转为官军的李山部、傅选部、牛皋部、董先部、李道部等小股军队，兵力又有所增加。
飞今见管军马，兼拨到牛皋、董先两项。共一千余人，合飞本军都计二万八千六百一十八人，辎重、伙头占破在内。（《金佗粹编》卷一十八》）
绍兴四年，岳飞讨灭勾结伪齐意图威胁下江防线的钟相、杨么起义军（时钟相已死），“得丁壮五六万人，老弱不下十余万”，兵力遂得到极大的补充和增加。此外，在作战前后，南宋中央机关还将荆湖南路安抚司的任士安部、郝晸部、王俊部、焦元部，以及江南西路安抚司的祁超部、高道部、丘赟部，还有张浚都督府的左军杜湛部等共计两万数千人均补入神武后军番号之中，由岳飞统帅。此时岳飞统帅的兵力已经达十万人左右。
之后，岳飞部的兵力大体在十万左右浮动，再无大的变化。例如《独醒杂志》在卷七就记载：
绍兴六帅皆果毅忠勇，视古名将。岳公飞独后出，而一时名声几冠诸公。身死之日，武昌之屯至十万九百人，皆一可以当百。
但是，这些军队，都是按照枢密院的命令，调拨给他训练和作战的军队，而不是他本人的私兵。
在他交出军权去临安工作之后，构陷他谋反的时候，尚且还需要伪造一个所谓的“张宪与岳云书”，通过间接的方式将他联系到所谓的“谋反”“谋大逆”中来，还诬陷这些军人要“谋还军权岳飞”。
可即使如此，也找不到一点实际的证据，只能污蔑说这封所谓的谋反的书信，已经被焚烧掉了，没有证据。
设想一下，如是晚唐五代的军阀横行时期，军队是军阀的私兵，中央政府难道敢这么对待一个“军阀”？
事实上，正是因为岳飞仅仅是一位解职将领，这只军队已经和他没有任何关系了，所以南宋政府才能放心大胆的构陷冤狱，将其处死了。