1940年5月10日，希特勒终于发动了准备已久的侵略战争。在西线，德军采取闪击战术，只用了十几天的时间便越过了荷兰、比利时、卢森堡，继而侵入法国。在向法国的进攻中，隆美尔担任第4军团第7装甲师师长，负责突破缪斯河向瑟堡入侵的任务。
越过法国边界后，隆美尔的前卫部队一直尾随撤退的法军第1、第4两个骑兵师前进到达缪斯河，位于地南特和豪克斯的两处桥梁已被法军炸毁，隆美尔的装甲师渡河受阻。
1940年5月13日隆美尔不顾法军炮火的轰击，来到岸边，了解敌情，寻找渡河位置。他发现法军在河西占据着有利的隐蔽地形，用重炮封锁缪斯河，使德军很难找到他们的准确位置；这里的所有渡河工具几乎部被法军击毁，只要德军一出现，就有被歼灭的危险。经过现场侦察，隆美尔认为只有用强大的炮火压住西岸所有被怀疑是敌军隐伏的地区，方能使德军渡过缪斯河。
于是，隆美尔调来炮兵，在渡河前又下令燃烧沿岸一带房屋充作烟幕。然后，在猛烈的炮火掩护下，开始强渡。强渡时，隆美尔乘坐第一批船，直接进行指挥。当在西岸建立了一个立足点之后，隆美尔又立即返回东岸，来到第2步兵团的渡河点。第2步兵团有一个连的工兵正在架设一个八吨式的浮筏，他立即命令改换为十六吨式。隆美尔下达这一命令的目的，是要让一部分战车尽早渡河，不然，已经到达西岸的步兵将会遭到法军的战车与大炮的袭击。不出所料，载运战车的浮筏还没有抵达波岸，法军已经发动了反击。第二天上午，第一批十五辆战车在西岸登陆。隆美尔即指挥河西岸的德军向荫蔽在森林里的法军进攻，掩护后续部队渡河。
德军突破缪斯河防线，给法军造成了严重威胁，法军遂放弃缪斯河防线向后撤退。 隆美尔率领先头部队紧紧追击从缪斯河撤退的法军，他以战车团为先锋，用炮兵作掩护，快速前进，把友邻部队远远地甩在后面。
1940年6月5日起，隆美尔的装甲师已经开始从索穆河北岸向南岸发起进攻。索穆河上的公路桥，在法军撤退时已经被炸毁，只有两座铁路桥和两座旱桥没有破坏。隆美尔在向索穆河南岸发动进攻前，首先以强大的炮火对这几座桥梁作封锁性的射击，当占领这四座桥后，即令战车、其他车辆和步兵迅速通过，1940年6月6日，隆美尔的装甲师已在索穆河南岸像演习一样，以疏开的战斗序列，越野前进。装甲车打头阵，一面走，一面战斗，前进的速度恰好使步兵可以跟得上。这一天，德军前进了十二英里，第二天前进了三十英里。隆美尔装甲师于1940年6月20日攻到色当，把法军打败 。
在六个星期的战斗中，隆美尔的装甲师仅死伤二千余人，而俘获敌军则共计有九万七千余人，由于这次进攻的胜利，隆美尔荣获了一枚武士级十字勋章。
隆美尔在对法作战中总结出一条经验：在两军对战中，谁先用火力压制住对方，谁就往往可以获得胜利；在静止时等候战况发展的人，常常总是会被对方击败。因此，即使不曾发现对方准确目标，也要先发制人。他认为时间的集中重于空间的集中，速度足以抵消数量的优势，弹性可视为奇袭的工具。
隆美尔喜欢首先利用88mm高炮打击敌方坦克，紧接着指挥大规模坦克集群进行冲击。 1940年6月，正当法西斯德军进攻法国的时候，意大利则一面向英法宣战，一面乘机出兵北非，进攻英属埃及和索马里，企图夺取苏伊士运河，控制地中海直通印度洋的通道。12月，英军开始反攻。意大利军队被迫向利比亚境内撤退。1941年初，英军在利比亚的托卜鲁克登陆，对从埃及撤退的意军进行夹攻，经过两个月激战，意军十个师被歼。1941年2月6日，德军决定派一个轻快师、一个装甲师去援救意军。隆美尔被任命为援救意军的德国非洲军的军长。
从2月11日起，隆美尔开始到非洲战场了解情况，发现英军已经占领了本海齐，并准备向提波里坦尼亚境内进攻。于是，隆美尔首先命令意军必须坚守塞尔提海湾地区的提波里坦尼亚防线。因为这条防线既可以防止英军继续深入，又可以使德国空军在非洲有一个可供作战的必要空间，以便向英军发动闪电式的进攻。但是，面临的问题却是兵力不足。如果等待德军的两个师全部到达，再阻止英军的进攻就太迟了，而现在只有一个团，提波里城的意军在遭到失败之后士气又大为低落，多数军官已经捆好了行李，希望能够早日撤回意大利；为了阻止英军的继续进攻，隆美尔决定利用现有兵力，包括即将到达的第一批德国援军在内，并已要求空军对本海齐港口发动一次空中攻击，炸毁英军通向本海齐的运输路线，破坏英军的增援。隆美尔的计划遭到意方的反对，意大利的一些军政官员在本海齐地区置有产业，不愿意向那里轰炸。意军则不相信能守住塞尔提地区和阻止英军进攻。意军在隆美尔的坚决主张下，轰炸了英军通向本海齐的运输线，1941年2月14日派出一个师向塞尔提增援。同一天，德军的先头部队--第三侦察营和一个战防炮营也到达了提波里港，二十六小时后就开到了最前线，隆美尔正式接管了前线的总指挥权 。
1941年2月底，隆美尔获得敌方一个新情况，英军王牌第7装甲师撤回埃及，进行休整和补充；它的战区由刚从英国调来、都是新兵的第2装甲师的一半兵力来接管。澳军第6师也调换了第9师，而该师有一部分因补给上的困难还未开到前线。英军敢于这样作，是因为他们认为德国前来支援的兵力很少，不敢贸然行动。与英军的想法恰恰相反，隆美尔没有等待德军全部到齐，便利用英军调防、轻敌的有利时机和条件，采取了大胆的进攻行动。此时，德军第5战车团和意军一个师已经开到前线。1941年3月15日，隆美尔把德国和意大利的军队组成混合纵队，从塞尔提向穆尔祖赫发起进攻，迅速向南挺进了四百五十英里。这次行动，给了英军以意想不到的打击，同时还获得了在非洲条件下作战怎样进行装备和如何长途行军的经验，为以后的进攻打下了基础。
1941年3月24日清晨，隆美尔指挥德军又攻占了艾阿格海拉地区的要塞、水源地、飞机场，英军撤到阿吉打比亚地区。英军撤到阿吉打比亚地区后，即占领了可以控制这一带高地的梅尔沙隘道以及比尔盐水沼地以南的高地，并在那里构筑工事，准备固守。这时，隆美尔面临的问题是，等待兵力在5月底到齐之后再进攻，还是马上就行动。如果等待后续部队到齐再行动，那么，就急需解决水源问题，因占领地区的水源已经枯竭。同时，还会使英军利用这段时间构筑起坚固的工事，其结果将使德军付出更大的代价。不然，就只能使用现有兵力向梅尔沙隘道进攻，以求在一鼓之下击败敌人。隆美尔决定不给英军喘息机会，以最快的速度去打击敌军，变被动为主动。
3月31日晨，在英军立足未稳的时候，德军开始向梅尔沙隘道进攻。双方经过一天的激烈战斗，德军于傍晚占领了该隘道，第二天，德军又向阿吉打比亚发起攻击，也是用了一天的时间便占领了阿吉打比亚周围的地方。在这次战斗中，隆美尔为了不让敌军知道自己的实力，他用汽车改装成许多假战车，迷惑敌军，收到了良好的效果。由于隆美尔灵活使用机械化部队，不给敌军喘息机会，所以，不到一个星期，英军就从昔兰尼加的西界阵地后退了二百多英里；不到两个星期，英军从昔兰尼加的东界后退四百英里，只剩下了一支被围困在托卜鲁克的部队。英军因为隆美尔指挥作战灵活，能够根据沙漠地形、气候等特点用兵，常常以少胜多、从被动变为主动，而称他为“沙漠之狐 ”。
为何隆美尔以劣势兵力却几乎能每战必胜？主要原因是他能认清沙漠战争的特殊性质。北非是装甲兵的理想战场，诚如隆美尔自云：“在一望无涯的沙漠上，摩托化部队能发挥其最大威力。”英国人则深受所谓“步兵心灵”的影响，所以虽享有数量优势但还是不能发挥其应有的功效。颇具讽刺意味的是，隆美尔本人又是一位著名的步兵战术专家，其所著《步兵攻击》一书早已成为权威名著，但他在第二次世界大战时却一跃成为装甲名将，所以其心灵的弹性实不可及。事实上，他不仅善于运用装甲兵，而且更善于运用步兵来配合装甲兵。诚如其自云：“装甲部队为摩托化军团的核心，其他部队都是辅助性的，应绕着核心旋转。应尽量用战防武器来消耗敌方装甲，而把自己的装甲兵保留供决定性打击之用。”这也正是孙膑以下驷当上驷的办法。
英军两次攻击（“简短作战”和“战斧作战”）的失败又暗示战术趋势已有新改变。在第一次世界大战时，防御相对攻击居于优势，到第二次世界大战初期，此种趋势完全倒转过来。装甲兵的闪击几乎势如破竹，令人以为攻击必然能够压倒防御。但隆美尔却证明，即令在北非沙漠那样开阔地区中，对于防御战术若能作巧妙运用，也仍能击退优势敌军的猛烈攻击。这也正是所谓“机动防御”观念的萌芽。事实上，攻击与防御是一体的两面，善战者必须同时运用而不可偏废。一般人还有一种误解，以为沙漠地区是无险可守，实际并非如此。尽管是沙漠，其中还是有若干要点，例如隘道、山脊、要塞等，可用作防御的基础，尤其正因为可守之地甚少，遂更增加这些要害的战略价值。整个北非战役几乎都是以这种据点来作为发展的基础。
英军撤到托卜鲁克后，丘吉尔与参谋长委员会密商时，指出：“放弃托卜鲁克要塞看来是不可思议的。”于是，向此地派了大量的增援部队，以加强防守，双方形成了拉锯战。1942年6月，德军才攻克托卜鲁克要塞。希特勒为了奖赏隆美尔这一次胜利，把他提升为元帅。当时的隆美尔只有51岁。
不久，英军派蒙哥马利中将来与德军交战，此时德军弹药和粮食都已经不足了，因此在阿拉曼战役中蒙哥马利击败了德军，此后，德军在非洲战场便连遭到败绩。1943年3月，隆美尔被调回大本营。他曾对他的儿子曼弗里德说，他已经失宠了，并认为不能再希望得到任何重要位置。于是，他开始写回忆录。7月，他被任命为驻北意大利“B”集团军群司令，12月担任最高统帅部大本营驻丹麦军事监察员。1943年12月-1944年7月任驻法国“B”集团军群司令。1944年7月20日，在反对希特勒的集团暴露后，希特勒逮捕了一些军官。在被逮捕的军官中，有隆美尔的老战友和下级，隆美尔曾经亲自向希特勒要人。因此，他也成为了希特勒怀疑的对象。1944年10月14日，这个为纳粹德国到处侵略的隆美尔，终于被希特勒派人逼他服毒身亡 。
