在当时是刘备觉得谁更值得信任，诸葛亮要比刘备聪明，也比李严聪明，所以刘备把军事交给了李严接管。
刘备在永安托孤的时候，有两个托孤大臣，一个是诸葛亮，一个是李严。刘备把政务交给诸葛亮，让他辅佐刘禅；却把军队交给李严，让他担任中都护，统管内外军事。刘备的这个决定，在后世看来，是一个非常奇怪的决定。尤其从李严后期的表现来看，感觉刘备基本上是所托非人。
我们先来看李严被托孤后的表现。一是建兴四年（226年），诸葛亮在汉中，准备北伐，想把李严调到汉中来，让他镇守汉中，自己放心前往北伐。二是建兴八年（230年），曹魏三路大军进攻汉川，诸葛亮再次调李严去汉中防守，他还是不愿意去，还假装说司马懿在诱降他，他走了的话，江州一带会丢掉。
三是建兴九年（231年），诸葛亮出兵祁山，让李严负责粮草押运。因为道路泥泞李严押运困难，怕迟了受军法处置，便让诸葛亮退兵。诸葛亮把李严让他退兵的信给刘禅看，于是谎言不攻自破。诸葛亮趁机弹劾李严，刘禅把李严废为庶人，流放到梓潼郡。
或者说，刘备这样做，是昏招，还是另有玄机的。我觉得刘备是看重这几点。第一，李严对刘备很忠诚。李严本来是刘璋的人，当是刘璋派李严去抵御刘备，可是李严却率部投奔了刘备，自此死心塌地跟随刘备。刘备要选一个忠诚的人来辅佐刘禅，在关羽张飞包括法正都先后去世的情况下，李严是第一选择。第二，李严的能力很强。李严原先在刘璋手下的时候，就以才干出名，担任成都令。
后来刘备入驻成都后，让他和诸葛亮、法正、刘巴、伊籍一起制定安定蜀地的法律文本《蜀科》，后来刘备在汉中的时候，地方上两次造反，李严不待刘备下命令，就带着很少的人马平定了动乱。其三，李严有独断专行的性格。主要表现在他担任犍为太守的时候，曾表现出独断专行的一面，比如郡功曹杨洪、牙门将王冲都曾与他发生矛盾，最后被他撵走。
刘备也是有充分考虑的。一者，刘备当时最担心的是诸葛亮成为曹操那样的权臣的问题，所以他必须要那样做。二者，如果诸葛亮不是权臣，李严也不会反到哪儿去。最后的实践证明，刘备的考虑是非常周详的。