起初德国海军战果颇多，击沉不少同盟国商船，但因为希特勒对水面舰队始终印象不佳，认为其建造缓慢且战果小；而潜艇部队建造速度快，还在法国陷落而取得西部港口后，对英国发动大规模的潜艇战中取得一系列丰硕的战果。德国海军随着战事的进行，开始将战力中心自水面舰移往潜艇部队的“吨位战”，而前者逐渐转为存在舰队的功能。德国海军的潜艇数量在战争爆发时是当时世界海军列强中最少者，但因为潜艇总司令卡尔·邓尼茨以狼群战术、先进的通信制度和战略规划而取得所有交战国潜艇部队里最大的战绩。到了1943年，德国潜艇在大西洋越来越力不从心，盟军不但破解了密码机和开发多种先进反潜武器，如更先进的声纳、雷达、深水炸弹，还投入了大量护卫航空母舰和反潜战斗群进行护航；同年5月，德国潜艇因为损失过高而放弃了狼群战术，改采单舰巡弋。战争末期，德国海军虽研制了先进的通气管式潜艇，如XXI级潜艇和XXIII级（German Type XXIII submarine），并投入使用直到战争结束，但仍无法扭转战败的结果。 1939年8月19日德国海军总司令埃里希·雷德尔对海军下达战争动员令，将所有海军舰艇进入至备战状态，雷德尔认为动员令不久即会解除，英法两国会妥协但泽的领土纷争，但在9月1日德国入侵波兰（其中战争海军参与了西盘半岛战役和炮轰但泽湾）后2天，两国对德宣战。当雷德尔听到宣战消息时，他说道：“现在，水面舰队能做的只有一件事，表现出他们懂得如何英勇赴死。”在Z计划才刚起工的情况下，德国海军此时能出战的只有2艘战列巡洋舰、3艘装甲舰、2艘重巡洋舰、6艘轻巡洋舰和共34艘的驱逐舰和鱼雷艇，邓尼茨在日后说道：“早在战争爆发时，我们就被打败了，因为德国并没有在海上做好万全准备。”德国最高统帅部迅速拟定了作战计划，雷德尔以早就派遣于海外的2艘装甲舰发起攻势，开始攻击盟军船只；而邓尼茨则赶紧派遣潜艇进入大西洋，德国官方宣布“无论是否悬挂中立国之旗帜都将会攻击”，此时潜艇数量少以及希特勒下令潜艇必须遵守《捕获法则》行事而难以有重大战绩，邓尼茨还是希望在英国启用护航制度前尽可能多击沉一些船只。9月3日，驶往美国的英国客轮雅典娜号（SS Athenia）因为意外而被U-30（German submarine U-30，1936）潜艇击沉，成为开战后第一艘被德国海军击沉的船只，英国认为德国已启用无限制潜艇战的作战模式，于是以护航制度来因应。英国在9月份被击沉了43艘船，但开始护航后就只被击沉1艘。由于英国已启用护航制度，邓尼茨想进行狼群战术来因应，但潜艇数量太少，因而在第一次的集结过程中被击沉3艘。9月30日，在邓尼茨的说服下，希特勒下令潜艇部队不必遵守《捕获法则》而使得潜艇的猎杀战果大有上升，但数量仍少。英国方面对护航制度存有歧见，一方认为它是一种防守而无实际成效，应额外组建猎杀潜艇的舰队；另一方又认为不该浪费护航兵力，导致其制度没有贯彻实施。德国水面舰队则在拉普拉塔河口海战中损失了斯比上将号，其后又有2艘轻巡洋舰被英军潜艇重创，于港中修补，雷德尔派遣了数艘伪装巡洋舰于海外攻击商船，其他舰只则留在军港中。
虽然陆上西线一直维持假战状态，但到了1940年因为一次大战英国曾利用挪威领海封锁德国舰队，以及希特勒担心其阻断瑞典铁矿砂的运输和维德孔·吉斯林的游说，德军于4月9日发动威瑟堡行动进攻挪威与丹麦，海军同陆空军协同作战，德国虽然最后成功占领各目标，但海军表现颇糟，损失了1艘重巡洋舰、2艘轻巡洋舰、10艘驱逐舰和4艘潜艇，同时也因为鱼雷性能问题导致潜艇攻击战果少、艇员士气低落。威瑟堡行动的结果对于德国海军战略拥有决定性的影响，使德国突破英国的海上封锁、获得了从日德兰至北角的所有港口。1940年5月，德军发起春季攻势占领法国，英国远征军撤退至本土，之后意大利对英法宣战。希特勒登陆英国的海狮计划因德国海军在挪威的损失、替登陆部队护航得交由空军，之后因为不列颠空战失败而无限期的推延，雷德尔因此而继续派遣军舰前往大西洋攻击商船。
第一段美好时光
法国投降为德国攻击英国海上通航线带来了极为便利的条件，德国潜艇不必再从威廉港出发，耗费油料和一星期的航行时间才能进入大西洋，能够从法国港口更有效的触及英国海上生命线，大西洋上的潜艇活动数量也因此增加了25%。由于法国沦陷，德国即将进攻英国本土，皇家海军舰队多调回待命，海上护航兵力变得相当薄弱，在1940年6月和7月，每一支船团仅配有一艘军舰护航，而护航舰与岸基飞机的反潜设备只能对付水下目标而不能对在水面攻击商船的潜艇，再加上英国因为担心受到空中德国军机的攻击而要求所有商船改以爱尔兰往苏格兰的北海峡航道航行，导致航线拥挤，德国潜艇得以在1940年7月至12月于获得重大战果，艇长称其为“第一段美好时光（First Happy Time）”，光德国潜艇就击沉了278艘商船，共1,492,054总吨数的物资。大西洋运输物资的损失直到1940年9月2日美国的富兰克林·D·罗斯福总统透过《基地驱逐舰协定》（Destroyers for Bases Agreement）提供了50艘驱逐舰给英国，情况才稍有改善。这段时间里虽然德国潜艇战果丰硕，但因为潜艇数量太少，难以发起狼群战术，虽然邓尼茨曾利用意大利的潜艇试图贯彻此战术，但因为人员训练和作战方式等问题而作罢；同时也因为缺乏长程侦察机而无法充分利用这段时间获得更大的战果。
俾斯麦号沉没
德国水面舰队于1940年10月派出数艘装甲舰、重巡洋舰和伪装巡洋舰由北海进入大西洋攻击商船，在海上大有斩获，迫使英国作好战斗以迎击。1941年5月18日，德国海军发起莱茵演习行动（Operation Rheinübung），企图组织舰队夺得北大西洋的制海权并以刚刚开始服役的俾斯麦号战列舰吸引英国的主力舰，使其他德舰得以攻击缺乏护航战列舰的商船。此计划曾遭舰队司令刚瑟·力长斯（Günther Lütjens）的反对，他指出将此作战延到两艘战列巡洋舰（指的是沙恩霍斯特号和格奈森瑙号，它们曾在4月上旬受创，进入布雷斯特翻修，而皇家海军又于此港外布下多处雷区，使得出勤时间一延再延）做好准备再进行，但遭雷德尔驳回，他指出若是到夏季才开始执行将会失去天候和昼短夜长这两个有利条件；更重要的是，希特勒已在准备巴巴罗萨作战，陆军和空军的需求将为最优先，若不在海上取得惊人胜利，难使希特勒继续支持海军舰队。之后，在5月24日爆发了丹麦海峡海战，俾斯麦号和欧根亲王号击沉皇家海军的旧舰胡德号战列巡洋舰、重创威尔士亲王号战列舰，而在3天后，皇家海军派遣了大量军舰前往、搜索拦截俾斯麦号，并将其击沉。莱茵演习行动以德国海军的失败告终，使得希特勒对大型水面舰的兴致降至谷底，成了水面舰队和雷德尔的转折点，也显示皇家海军已开始集结舰队反击。到了11月，皇家海军也消灭了所有在外巡弋的德国伪装巡洋舰。
英国反击与苏、美参战
德国潜艇部队的战绩于1940年10月达到最高峰，也开始使用狼群编队，但其后因为冬季的到来略有下降。英国则开始组织反击，重组了护航制度、将西航道司令部由普利茅斯改至利物浦、更换指挥官和进行更严谨的海空军合作，英国透过政府密码研究协会，对德国潜艇的电文和通信进行拦截，判断其出没位置，并向海军部提供适合的航线与护航舰艇资讯，此举大大改进了护航的效率。由于英军的反潜技术有了相当的经验，在1941年3月击沉了不少潜艇（英国每损失五艘商船就击沉一艘德国潜艇），其中还损失了3名王牌艇长。邓尼茨此时拥有的潜艇数量仍仅有27艘，他决定派遣它们前往更西边的航道，护航战列舰和岸基飞机所不及处。1941年5月，德国潜艇U-101被盟军所俘虏，并获得一台通信用的恩尼格玛密码机，同时也改善了测向仪技术、雷达系统。
美国方面，美国总统罗斯福对德国潜艇态度越来越强硬，1939年9月23日美国就发表《巴拿马宣言》，划分了一个海上中立“安全区”，提供美国军舰保护该海域的船只，其后又有《驱逐舰协定》和《租借法案》、同意英国军舰于美国造船厂检修、还将其安全区向东延长，到了6月美国还驻军于冰岛，也使得德国与美国海军的关系越来越紧张。1941年6月，英国破解了恩尼格玛密码，为反潜和护航作战提供了重要的帮助，但因为邓尼兹察觉到有异，下令将保密制度升级，英国的密码优势并未维持太久，反而被德国破解了英国海军部的密码。6月22日，希特勒进攻苏联，并调拨了相当的资源在对苏战争上，且要求邓尼茨不得攻击美国船舰以免其参战，英国则宣布将会支援苏联一切作战物资，并透过北冰洋航线送达。12月7日，日本攻击美国夏威夷的珍珠港基地，美国因此对日宣战，德国也在12月11日对美国宣战，战场范围因而扩大了。
第二段美好时光
邓尼兹在1942年年底只有90艘潜艇，他认为要对美国发起攻势，在最短时间内击沉大量物资（每月810,000吨），以免其造船速度和反潜准备的增加导致大西洋海战德国失败。然而德国最高统帅部因为北非和马耳他战事告紧，一直要求邓尼茨挪出兵力前往地中海和直布罗陀海域，邓尼兹认为那是无谓的浪费。他策划了以美国船只为主要目标的击鼓行动（Operation Drumbeat），由于美国没有使用护航制度而不使用狼群战术。美国因为太平洋战争而调移了许多原本可用来攻击潜艇的军舰，《租借法案》也转移不少驱逐舰给了英国，使得美国本土海域缺乏防御，美国海军总司令恩斯特·金恩上将认为在护航船舰不足的情况下建立护航船团没有意义，只有在拥有必要资源时才组建。德国潜艇于1942年1月至8月在美国东岸大有斩获，并称其为“第二段美好时光（Second Happy Time）”。
美国东海岸负责反潜作战的大西洋舰队所组建出的反潜艇队也多为不适合此作战的船只且缺乏训练，而从美国陆军航空队征调用来作为反潜机的B-17和B-24也因为陆海军指挥权和从轰炸机转为反潜机不适应而有各个问题。德国潜艇则因为每天截获许多盟军商船所发出的无线电讯号而大肆攻击船团，美国则在反潜作战上缺乏搜索与追击的实战经验，海空力量也没有协同，深水炸弹等武器性能也低落。一直到5月，美国海军才开始了护航制度并对反潜制度加以改进。邓尼茨因为美国东海岸防御能力逐渐增强，他开始将潜艇派到防御松散的墨西哥湾和北大西洋等其他海域以维持吨位战计算所需达到的每月击沉数。1942年夏，越来越多德国潜艇下水服役，邓尼茨因而恢复启用狼群战术，还有派遣潜艇运输秘密渗透破坏单位进入美国。 德国战略上因为援苏船队的存在与英国多次派出突击队登陆挪威进行破坏行动，使希特勒认为其试图在斯堪的纳维亚半岛登陆反攻，他对此说道：“挪威是这场战争的‘命运之地’”，要求“每一艘可动用的船舰都要部署于挪威。”，希特勒尤其要求从位在法国的主力舰穿越英吉利海峡，协防挪威，海军作战部便拟定赛博勒司行动（Operation Cerberus），成功移防了3艘主力舰和6艘驱逐舰，此外还向邓尼茨征调潜艇。邓尼茨认为此举使得大西洋海战原本就已显不够的潜艇兵力更加不足，但仍派遣了20艘潜艇。同时，主力舰转往挪威也象征了德国海军放弃了远洋作战。1942年，驻防挪威的德国海军舰队有5艘主力舰和10艘潜艇，其中对盟军战略部署最大的就是提尔皮茨号战斗舰。
1942年3月14日，希特勒下令将北极船团定为与俄国战役相关的重要战略目标，要求将其彻底阻绝。但运往摩尔曼斯克港口的船团仅受到德国在挪威的海空军零星攻击，主要是德国燃料短缺，严重限制了舰队的作战能力，1942年4月德国海军仅能获得月需求量10%的燃料，但潜艇因为使用柴油而未受影响，成了该地区真正的攻击主力。1942年12月31日，在挪威北海爆发了巴伦支海海战，错失歼灭援苏北极船队的机会，希特勒对此结果十分不满，也成了德国水面舰命运的转折点，下令拆毁所有含驱逐舰的舰队和取消水面舰的建造，将舰上的火炮、装甲与官兵用以加强大西洋长城的防御设施，雷德尔抗辩无效后就自己请辞了，而邓尼茨则被任命为新的海军总司令。邓尼茨虽为潜艇指挥官但了解舰队存在之价值，他说服了希特勒保留了水面舰队（但停止了建造），改将海军资源都投入潜艇中。在1943年发生的北角海战（Battle of North Cape）中，皇家海军约克公爵号（HMS Duke of York （17））击沉了沙恩霍斯特号，之后大多数德国水面舰退至港口作为存在舰队，牵制皇家海军的部署。而提尔皮茨号战斗舰不断地穿梭于挪威的峡湾中，盟军认为其对援苏商船运输造成非常大的威胁，持续以各种行动试图瘫痪或击沉它，最后在1944年的问答集行动（Operation Catechism）中成功击沉，从此德国水面舰队也无对盟军实际的影响力了。 和水面舰队驻于挪威的情况相比，大西洋海战逐渐进入白热化阶段，双方投入之兵力甚多，邓尼兹取得了希特勒的信任加速生产潜艇，1943年的狼群规模越来越大。德国海军参谋本部认为在1943年同盟国可建造10,800,000吨的新船（实际上是12,384,000吨），因此平均每月都应要击沉总计900,000吨的船只。在2月最后10天击沉了28艘船（183,650吨）、3月的前10天共击沉41艘船（229,949吨）、后10天又击沉了44艘船（282,009吨）。在德国潜艇大有斩获的同时，同盟国也在进步，包括改良超远程飞机和使用新式反潜装备、“利式”探照灯、刺猬炮和新型深水炸弹等，德军用来躲避盟军的雷达装置和密码机也遭破解，盟国护航船只开始大量出现护卫航空母舰，也开始从英国本土轰炸德国潜艇制造厂，反潜人员的技术也逐渐进步，潜艇更是无法应付飞机这种“不对称”的战斗兵种，盟军巨大的生产力也令护航舰艇大量增加，也开始组建了“支援群”，专配于护航船团对潜艇采取攻击。
德国潜艇的损失开始增加，2月有14艘被击沉、3月13艘、4月12艘，但到5月22日该月的损失就有31艘。到了5月底，邓尼茨认为吨位战已经宣告失败，盟军已获得战略主导权，但他还是派出潜艇于海上游猎（单艇巡弋），9月和10月，德国潜艇仅击沉了9艘船，但却损失26艘潜艇。邓尼茨在记事本上写道：“很显然，潜艇除了对敌人的牵制作战外已毫无作为。”但他还是持续生产潜艇。邓尼茨打算使用新式潜艇继续与盟军作战，他和军备部长阿尔伯特·斯佩尔将潜艇制造厂规模扩增，把每一个零件在各个不同地方生产再送到同一处组装，大大增加了效率和抵抗盟军对船厂的轰炸。 自从意大利于1940年6月对英法宣战，就开辟了地中海战场。从1941年9月到1944年5月，约有62艘德国潜艇穿过英国直布罗陀基地前往地中海，击沉了数艘盟军军舰和商船，德国潜艇在此主要任务是打击通往地中海英国马耳他基地的补给、支援意大利海军与掩护北非埃尔温·隆美尔的德国非洲军海上补给线，然而直到战争结束都没有一艘地中海战区的潜艇回到他们原本的基地，它们多在战斗中被击沉或是投降时凿沉。邓尼兹认为德国海军在吨位战上不应浪费数量已经算少的潜艇赴往其他战场，大西洋才是决定性战场，但他的意见没有被采纳（主要原因是雷德尔于1940年建议希特勒将主战场转往地中海）。
除了地中海外，战争海军还派遣潜艇和伪装巡洋舰前往太平洋、西非海域和印度洋击沉盟军商船，德国潜艇在此区常停驻于日本军港，少数之后成为了日本潜艇。
另外还有在波罗的海与黑海和苏联舰队交战，同时维持东线北方集团军的补给。 战争结束后，德国海军中的雷德尔和邓尼茨于纽伦堡审判中被起诉；英国海军坚决反对起诉两人，根据纽伦堡历史学家约翰·图萨斯（John Tusas）的报告，“英国海军认为德国海军进行的是一场合法公正的战争……他们明白关于海军战争的法律是非常不严谨的，执行起来会有机可乘……”。英国法学家汉佛雷·瓦多克（Humphrey Waldock）认为：“审判德国海军会面临法律难题”，图萨斯还因此总结指控德国海军的证据是“不可靠和虚弱的”。美国海军高层也有其同感，因为他们自己也在战争中对日本发起了无限制潜艇战，且不会营救落水者，有时甚至还会攻击其救生艇上的船员。然而因为受到苏联和法国政府的坚持，以及其在纳粹德国重要的政治地位，两人仍被起诉。雷德尔因为在战争爆发之初已有高级职位（海军总司令），对以海军帮助希特勒的战争行动有其责任，三项主要罪名：“发起侵略战争”、“制订侵略计划”和“犯有战争罪行”皆起诉（危害人类罪没有起诉），但仅有制订侵略计划判决有罪（威瑟堡行动）。虽然此判决引起部分争议，雷德尔最后被判决终身监禁，然而在判决时的1946年他已有70岁高龄，故因而减刑并在1955年9月获释。对邓尼茨的审判中，第一条的“发起侵略战争”由于战争爆发之初邓尼茨仅为上校军衔而无罪；第二条的“制订侵略计划”虽然邓尼茨作为海军军官仅是听命行事，但陪审团仍判决其有罪；第三条的“犯有战争罪行”案例主要集中于拉克尼亚命令（Laconia Order），指控邓尼茨于1942年12月发布该命令，要求艇长不营救落水者，并暗示杀死幸存者。然而邓尼茨辩护律师提出多项证据作证绝无此事，且证人之言词有其漏洞，美国的太平洋总司令切斯特·威廉·尼米兹上将也给予相关资讯，纽伦堡法庭的美国大法官弗朗西斯·贝弗利·比德尔宣称：“德国人发起的潜艇战争比美国的还要公正”，并不支持邓尼茨在这项罪行上有罪，但法国与苏联法官坚持其有罪，最后宣判有罪，判处10年监禁（纽伦堡法庭中被判有罪者最短的刑期）。
战争结束后，德国海军只剩下少数军舰由战胜国处置。齐柏林伯爵号被苏联当作舰艇与战机的靶船。而大部分的驱逐舰和鱼雷艇则编入盟军的舰队中，驱逐舰被瓜分，莱比锡号载满毒气被拖往北海击沉，纽伦堡号进入苏联海军服役，改为马可罗夫上将号（Admiral Makarov）；欧根亲王号则是被美国使用于十字路行动，测试水下核爆对水面船舰的伤害程度；挪威和丹麦得到少数鱼雷艇。这些驱逐舰于1950年代纷纷退役，而一些鱼雷艇则在1960年代回到了德国。为了进行战后的扫雷作业，英国从1945年6月至1948年1月聘请德国水手和扫雷艇人员，组织了小型的“德国扫雷部门”，其中有前战争海军27,000名人员和300艘船只。1956年，西德加入北约组织，一个新的海军组织诞生：联邦海军（Bundesmarine）。有些如埃里希·托普（Erich Topp）和奥托·克瑞奇米尔（Otto Kretschmer）等前战争海军指挥官继续为联邦海军服务；战后不久东德的人民海军（英语：Volksmarine）也跟着成立。1990年两德统一后，海军改名为德国海军。
