希特勒任命从非洲回国的隆美尔为意大利北部德军总司令，因为1943年7月15日，英美盟军开始在意大利的西西里岛登陆，希特勒责令其在意大利中部组织防御，阻止盟军的进攻。
但是不久，隆美尔和南战场总司令凯瑟林之间在意大利的防守问题上发生了意见分歧，而希特勒采纳了凯瑟林的意见，把隆美尔调离了意大利。隆美尔被调离意大利后，希特勒对怎样安排他颇费思量。最后，希特勒决定派隆美尔到法国去，任务是彻底检查和加强“大西洋壁垒”的海岸防御工事。1943年11月5日，希特勒在“狼穴”颁布了这项任命。希特勒之所以选派隆美尔去西线，原因是在纳粹的元帅和上将这一级别的指挥官中只有隆美尔具有数年来一直与英美军队作战的经验。此外，他也想给隆美尔一个挽回声望的机会，振作一下他的精神状态。
1943年12月18日，隆美尔到了法国。1940年他曾率第7装甲师一直打到法国西海岸。英军不得不仓皇从敦刻尔克撤退。短短3年多，现在的局势就大不相同了。那时德国处于进攻地位，现在则处于守势；那时德军的飞机在法兰西上空横行，现在英美空军对德国和法国北部地区的轰炸已是家常便饭。德军的所谓“大西洋壁垒”，与其说是不可逾越的工事，不如说是戈培尔吹嘘宣传的产物。它的支撑点是逐渐建立起来并互相隔绝的，而且防守兵力不足。所以，隆美尔对能否阻击盟军的登陆信心不足。
隆美尔这时已无单独决定重大行动的权力，他作为德军西线总司令冯·龙德斯泰特属下的B集团军群司令，须接受龙德斯泰特的指挥和节制。隆美尔要求控制更多的装甲师，但希特勒一直没有答应。1944年6月6日早晨，英美盟军开始在诺曼底登陆。当天，隆美尔正在家里为妻子露西庆祝生日，待他接到报告后赶到诺曼底前线时，盟军已夺占了几个纵深达10公里的登陆点。至6月12日，登陆盟军已达33万人，而德军统帅部才调来3个装甲师和1个摩托化师，使诺曼底地区的德军兵力增至12个师。
希特勒命令部队不准实施新的部署和调动，而由他亲自决定如何行动。他于6月17日到法国视察时，隆美尔建议部队从诺曼底主动后撤，但被拒绝。随着盟军自诺曼底登陆成功后向德军防御纵深的逐步推进，隆美尔对整个西线战事越来越绝望了。他像当时的一些德军将领一样，希望希特勒能在西线与英美单独媾和，然后集中力量去对付东线的苏军，为此他曾当面与希特勒发生了冲突。
1944年6月29日，就在盟军从诺曼底继续向法国腹地挺进期间，希特勒在他的伯希特斯加登山间别墅里召开了一次有西线将领参加的大本营军事会议。会上，希特勒先发表一通旨在鼓劲打气的演说，然后请隆美尔谈谈盟军在诺曼底登陆以来的军事局势。但隆美尔谈的却不是这些，他鼓足勇气当着希特勒的面说道：“元首阁下，我作为B集团军群司令，认为我有责任向您阐明西线局势。首先谈谈我们的政治形势，全世界联合起来对付德国，而力量平衡——”希特勒立刻打断他的话：“陆军元帅，请谈你的军事形势，别的不用你讲。”“我的元首，历史要求我应首先谈谈我们的整个形势。”隆美尔固执地说。希特勒猛一拍桌子，说：“你就谈谈你的军事局势，其他的什么也不许谈。”
隆美尔不得不遵命介绍了盟军在诺曼底登陆后的军事局势。之后，希特勒又就反击问题口吐狂言：用德国的海军、空军封锁盟军从英国到诺曼底的交通线，同时集结部队，把盟军赶下大海，再来一个敦刻尔克。希特勒说到这儿，便把期待的目光转向隆美尔。
这一回，隆美尔不想再说话了，但希特勒还要他就军事问题表明一下态度。隆美尔仍然默不作声。因为战争进行到这个时候，德国已没有多少潜力了，隆美尔认为只有趁着德国军队还未被彻底摧毁之前，与英美媾和，或许还能够讨价还价以挽救第三帝国的命运。
但是，希特勒不允许他的将领们谈论这个“政治问题”，而且他认为德国还能够、也必须打下去。所以，当隆美尔最后忍不住地说还想就“德国这个主题谈一谈时”，希特勒气愤地让他离开会场：“陆军元帅，还是离开这里吧！我看这样做好一些。”隆美尔实际上被希特勒轰出了会场。这是他生前最后一次与希特勒的会面。