张玉早年曾在元朝为官，担任枢密知院，后随元顺帝逃往漠北。
1385年（洪武十八年），张玉投降明朝。1388年（洪武二十一年），张玉参加捕鱼儿海战役，因功被封为济南卫副千户，后改任安庆卫指挥佥事。
1390年（洪武二十三年），张玉随蓝玉征讨远顺、散毛诸洞。1391年（洪武二十四年），张玉驱逐犯境元军，一直追击到鸦寒山，调任燕山左护卫。
1393年（洪武二十六年），张玉随燕王朱棣出塞，到达黑松林。1394年（洪武二十七年），张玉又征讨野人等部。张玉作战骁勇，又足智多谋，逐渐受到朱棣的器重。 1399年（建文元年），朱棣起兵靖难，张玉率兵夺取北平九门，并在三日内控制北平全城。燕军南下时，朱棣又采用张玉的计策，命朱能东攻蓟州，杀死守将马宣，又迫降遵化。后来，张玉夺取永平（今河北卢龙）、密云，将所获精锐充实军中，升任都指挥佥事。
八月，朝廷任命老将耿炳文为帅，征讨北平。耿炳文命都督徐凯驻军河间，又命潘忠、杨松驻军鄚州（今河北任丘），自己则率大军屯于真定（今河北正定）。张玉担任燕军前锋，趁南军庆贺中秋之时，袭破雄县，又在月漾桥设伏，生擒前来援救的潘忠、杨松，夺取鄚州。
不久，张玉亲率轻骑窥探耿炳文的军营，返回后对朱棣道：“敌军纪律涣散，应当迅速进击。”朱棣遂率军西进。到达无极后，众将都认为南军兵强，建议驻军新乐。张玉道：“他们兵马虽多，但都是新兵。我军乘胜直趋真定，一定能攻克它。”朱棣喜道：“我倚仗张玉便足以成就大事。”
次日，朱棣率军抵达真定，与张玉、谭渊夹击南军，大破耿炳文，生擒左副将军李坚、右副将军宁忠、都督顾成，斩首三万级。不久，张玉又击败安陆侯吴杰，燕军军威大振。
九月，江阴侯吴高率辽东军围攻永平，曹国公李景隆也率军攻打北平。朱棣与张玉定计，先援救永平。这时，吴高已撤军而走。张玉便随朱棣前往大宁（今内蒙古宁城），并在两个时辰之内攻破大宁，斩杀都指挥朱鉴，生擒都指挥房宽。
十月，朱棣在会州（今河北平泉西南）整编军队，分为前后左右中五军，以张玉统领中军。这时，李景隆已经围困北平。朱棣便班师返回，在郑村坝大破李景隆，趁胜抵达北平城下。北平守军也鼓噪杀出，内外夹攻，南军溃败。 1400年（建文二年），张玉随朱棣攻破广昌、蔚州、大同。这时，李景隆收集败军，再次来攻。张玉道：“兵贵神速，请让我屯军白沟河，以逸待劳。”他驻扎在河上三日，并以精骑出击，再次大败李景隆。
五月，张玉夺取德州，追击南军至济南。但是围城三个月，仍旧不能破城，只得撤军而回。十月，张玉攻破沧州，生擒徐凯。十二月，燕军攻东昌（今山东聊城），与盛庸相遇。
当时，盛庸背城列阵。朱棣冲击南军左翼，后又冲其中坚，结果被盛庸重重包围。张玉、朱能分别率兵相救，朱棣与朱能会合，乘机突围而出。张玉不知朱棣已被救出，仍在阵中冲杀，最终力竭而死，时年五十八岁。 1402年（建文四年），朱棣称帝，是为明成祖，追赠张玉为都指挥同知，后又追赠奉天靖难推诚宣力武臣，特进荣禄大夫、右柱国、荣国公，赐谥忠显。
1425年（洪熙元年），明仁宗加封张玉为河间王，改谥忠武，并将张玉和东平王朱能、金乡侯王真、荣国公姚广孝的灵位一同放在明成祖的宗庙中。
