摩根并不满足于铁路业上的成就，他很快就把目光投向了新的目标——钢铁业。为此，他创办了联邦钢铁公司，几经拼搏之后，联邦钢铁在企业界奠定了自己的地位。 这时，在美国钢铁企业的排行榜中，坐第一把交椅的仍是钢铁大王卡内基，摩根排在第二，第三是那个在五大湖周围一直到南方大肆购买铁矿山并插手制铁业的洛克菲勒。 摩根与卡内基两人一向交恶，这大约是由于“一山不容二虎”吧。当摩根急欲全面控制钢铁业时，更觉得横在路中的卡内基是个讨厌的庞然大物。但摩根知道此事不能性急，想要吃掉卡内基的庞大产业必须等待机会的出现。
1899年，机会来了，摩根得到了一条消息：卡内基似乎有将与钢铁及焦炭有关的全部制铁企业股票卖给莫尔帮的企图。芝加哥投机家威廉·莫尔，生长在一个投机者的家庭中，父母都是银行家。他从小耳濡目染，长大又专攻法律，更使其精于投机之道，在华尔街上，他是新一辈中的佼佼者，他与其弟和伙伴们在华尔街被称为莫尔帮。卡内基怎么又突然想隐退的呢？这也是事出有因。这段时期，他接二连三地遭受失去亲人的打击，先是他亲密合作的弟弟汤姆和最敬爱的母亲相继撒手而去；时隔不久，在布拉德克的工厂里，由于发生熔炉爆炸事故，他失去了最可信赖的助手琼斯厂长。这些接踵而来的沉重打击，使卡内基陷入了痛苦的思考之中：“自己从一个织布工的儿子，一个穷光蛋，发展到今天这个地位，拥有这么多财富，究竟是为了什么？为什么现在我富有了，上帝却偏偏在这时让我承受亲人朋友离我而去的痛苦？难道是聚敛这些财富给我带来的罪孽？”最后，他得出了一个结论：“富人如果不能运用他所聚敛的财富来为社会谋福利，那么就是死去时也是死不安稳的。”出于种种考虑，卡内基决定放弃事业。但莫尔并未成功地吃掉卡内基奠定的庞大产业。
之后又有消息传到摩根耳朵里，莫尔与卡内基的谈判没有结果，卡内基认为，莫尔根本没有足够的财力来接纳和吸收卡内基那庞大的钢铁帝国。之后，摩根又得知卡内基想把事业卖给洛克菲勒。虽然摩根心里暗自着急：为什么不卖给我？但摩根知道，事情总会有瓜熟蒂落的时候，他坚信，只有自己有足够的能力、精力和财力来接管卡内基的事业。果然，洛克菲勒此时正忙得团团转，首先他正忙于控制世界的石油生产与买卖，其次又刚刚有一项投资俄亥俄新矿山的计划失败，最后还被骤然而起的反托拉斯的风潮首先选中，首当其冲地成了被责难的对象，可谓被搞得焦头烂额，自顾不暇，哪里还有心思来考虑卡内基的那份事业。漫长而耐心的终于等待得到了回报，摩根的机会来了。
卡内基以前的总裁叫佛里克，这两人都对摩根没有什么好感，因此摩根做工作都无从做起。恰在此时卡内基与佛里克之间发生了严重的矛盾，佛里克辞了职，许瓦布被任命为新总裁。事有凑巧，摩根的女儿路易丝的丈夫是许瓦布的知交。也有人说，卡内基任命许瓦布正是由于知道这层关系，因为他也觉得，除了摩根再无第二人有能力购买他的事业了。
总之，事情就朝着摩根希望的方向发展了。一次许瓦布应邀到纽约大学俱乐部演讲时，“凑巧”与摩根邻座。一番交谈，两人都觉得甚为投合。
大学俱乐部晚宴一结束，摩根就迫不及待地将许瓦布邀请到坐落在华尔街的办公室里，与许瓦布一直恳谈到深夜。几天之后，许瓦布再次被邀请进摩根的力公室中。卡内基从斯吉伯堡回来后，在纽约的圣安德鲁尔俱乐部与许瓦布打了一场球，两人走进卡内基别墅的书斋，卡内基在一张纸上潦草地写下了：“一元五角。” 他指示许瓦布，若摩根肯出时价的1.5倍，他就卖。根据摩根的资料，这次交易“以4亿美元以上达成协议”。这是个令人咋舌的庞大数字！
1901年4月1 日，正好是愚人节那天，U·S·钢铁正式宣告成立，举行了盛大的新闻发布会，宣布了新公司的资金是8.5亿美元，摩根的愿望实现了。这么一个钢铁大联合，可以说是美利坚合众国历史上为数不多的盛事，摩根就是这次盛享的主角。买下了卡内基的事业，成立了U·S·钢铁，这样一来，摩根就非得购买洛克菲勒的五大湖矿不可了，否则就会出现原料不足的危机。刚刚战胜钢铁大王，摩根又不得不转身再战，对付石油大王洛克菲勒。 洛克菲勒拥有的铁矿山中，数检瑟比矿山最吸引人。它是全美最大的铁矿山，储藏量5000万吨，原来是当地叫检利特的五兄弟开发的，矿石品质优良，居全美之冠，所以摩根一下就相中了这个矿山，决心要从洛克菲勒那里买过来。一大早，摩根就来到西区54街拜访洛克菲勒。名震世界的两大巨头，互相之间以前只见过一面，但一句话也未曾说过。这次，摩根被请进客厅后，他甚至没有寒暄，开门见山地说：“我想购买检瑟比矿山和五大湖的矿石输送船。”“哦？检瑟比矿山我已经交给我儿子管理了，一会儿我叫他去拜访您吧。”两大巨头的谈话到此为止。
小洛克菲勒按父亲指示来到摩根办公室后，从容地开出了7500万美元的高价，尽管摩根知道洛克菲勒当初只不过用他具有的重大战略价值。一阵思考后，他爽快地同意了这个出价，谁知小洛克菲勒末了又补上一句：“价款必须用U·S·钢铁股票支付。”“就连洛克菲勒，也想要我摩根U·S钢铁公司的股票？”摩根很清楚，7500万的股票并不能对他摩根造成什么威胁，那么，洛克菲勒确实是非常看好摩根的事业了。自从合并卡内基的事业后，摩根在华尔街多了第二个绰号－“朱庇特”，在罗马神话里，朱庇特是天之主神，众神之主。这个绰号形象地道出了摩根在华尔街中的地位，这时的摩根完全陶醉在了胜利之中，当然，这种感情丝毫也不会表露在他的脸上，他伸出右手、默默地却又是坚定地握住了年轻的小洛克菲勒的手。 然而，正当摩根拚命努力时，他的努力遭到了舆论界的抨击。《伦敦经济报》这样评论：“发迹的美国投资家J·P·摩根承购法国政府的国家公债。承购者想出了所谓的‘联合募购’的方法来消化这些国债，并声称这种方式能将风险透过参与‘联合募购’的多数投资金融家，逐级地分散给一般大众，而不再象以往那样集中于某个大投资者手中。乍一看来，似乎因分散而降低了风险性，但其实假如经济恐慌一旦发生，其引起的不良反应就快速扩张，有如排山倒海一般，反而使投资的危险性增加。”在纽约舆论界，也有类似的评论。不管评论是褒是贬，一个青年投资家引出这么大的话题，对摩根知名度的提高本身就是一件好事。
大众的目光都集中到了他身上，而事实证明，“联合募购”是成功的，摩根成功地消化掉了5000万美元约法国国债，这一来他名声大振，各种赞扬之声不绝于耳。到了后来，对国债实行“联合募购”几乎就成了不成文的规矩，而摩根在这一行中，则早就打响了名头,确立了自己的领袖地位。到了1898年美西战争之前，摩根由于在重大的关头决策正确，已经是财源遍地，其事业远非祖父、父亲可比了。这时的摩根，更是把目光投向了整个世界，美国的庙已经有些嫌小，装不了他这么一尊大菩萨了。他要向美洲扩张，向世界扩张，而扩张的最有力、同时也是摩根很早就已运用熟练的工具，便是购买外国政府的国债。
美西战争之前就有消息透露：墨西哥政府由于无力偿还西班牙政府的旧债，已到了破产的边缘。在一只脚已经踏向了深渊的情况下，墨西哥政府当局不得不死马当作活马医，继续着手发行公债，计划金额将达到1.1亿美元，以利用新债偿旧债，度过眼下的难关。常人一般都不会去认购墨西哥政府在此情况下发行的公债，而摩根的想法却与众不同。他想：正因此时墨西哥政府处境艰难，我伸出手去帮一把忙，既可以要求较多的实惠，又为以后的继续接触打下了良好的基础。别人不敢做的事，做了才有更丰厚的利润，况且墨西哥的政局还是稳定的。基于这些想法，摩根立即和德国银行联合组织了辛迪加认购那些墨西哥公债，当然，有实惠的条件：取得墨西哥油矿及铁路权作为担保。事实证明，摩根的决策是对的，这次行动不管从短期还是长期来说，都为他带来了不小的收益。
事后，不仅是华尔街、庞德街，就连法兰克福及巴黎的商人们都佩服摩根头脑敏捷，判断准确，都不得不承认自己无论是在眼光上还是在魄力上都差摩根那么老大一截。摩根不但在墨西哥有动作，在阿根廷，他也以一个救世主的形象出现了。阿根廷经过1864到1870年与巴拉圭的战争后，元气大伤，到了19世纪90年代，即陷入了经济危机之中。伦敦的哈林公司以阿根廷的广大土地作为抵押，购买了大量的阿根廷公债，获利不少，然而因其财力限制，无法全部承担阿根廷政府发行的公债。这就使摩根动开了脑筋：阿根廷的铁路非常有潜力，乳酪产品在世界驰名，虽然政府非常腐败，但对于外国资本却是恭敬有加，这样的政府倒台了，对以后住南美发展也没有好处；买阿根廷政府的公债，一则可以获利，二则可以维持现政权，有利于自己今后发展，是合算的买卖。就这样，摩根毅然出资购买了7500万美元的阿根廷政府公债。
时光流逝，站在今天的角度，当年摩根对墨西哥与阿根廷放的债究竟起了什么作用？是拉了美洲人民一把，还是更深地将其推人深渊，压迫了各国人民？众说纷坛，难以分辨，但摩根通过这样的手段，扩大了自己的势力与影响，捞取了大量的财富，这一点是确凿无疑的。
做各国的债主自然风光，而摩根最感得意的，是连大英帝国都不得不向他摩根求援。 作为荷兰东印度公司的殖民地面开发的霍屯督族的国家布尔（即南非），在拿破仑战争结束后（1815年），成了大英帝国的一块殖民地，不久，该地的钻石与黄金被探险家们开发了出来，而大英帝国为了开发钻石与黄金，制定了残酷而苛刻的殖民地政策，这样就进一步加深了与原先就住在那儿的布尔族人的矛盾。随着矛盾冲突的激烈，爆发了第一次布尔战争（1880－1881）。 英国人胜利地将布尔族人驱逐到了北方，将黄金与钻石的产地统统收归已有，加以管制。这样一来，英国人与布尔族人的对立进一步加深，终于又爆发了第二次布尔战争（1899年）。 这一次，布尔族人吸取了上次战争失利的教训，采用灵活而顽强的游击战与英军周旋，使英帝国的远征军备受困扰，欲进不能，欲罢不甘，其势已成骑虎，而且第二次战争开始后，英国的战争费用出乎意料得庞大，远远超出人们开战初的估计。屋漏偏逢连夜雨，历来与英国水火不相容的德意志皇帝，又正野心勃勃地计划建造一支大舰队，英帝国历来是海上的老大，岂能容忍他人取而代之？必然要与德国抗衡，于是展开了激烈的军备竞赛。 一边开战一边扩充军备，英国的财政顿时陷入了极端困难的境地，单靠自身的力量已无力回天，必须求助他人了。
这时，英国政府首先就想到了摩根，于是派出罗斯查尔公司纽约代表处的贝尔蒙来征询摩根的意见，向他求援。摩根毫不推辞，一口答应了下来。摩根首先从第一次布尔战争的公债下手，负责购买了价值总计1500万美元的公债。后来又反复地追加认购。实际上，总共认购了价值达1.8亿美元的英国政府公债。做了这么多笔战债、公债生意，对摩根来说是利益无穷。
到了20世纪初，可以毫不夸张地说，摩根已经成了世界的债主。
