1936年10月，出生于衡阳市衡山县仁东乡石沧村（今衡阳市衡山县江东乡石溪村）；
1955年3月，参加中国人民解放军，任海军战士、班长；1956年1月，加入中国共产主义青年团；
1959年8月，加入中国共产党；
1960年1月，任扫雷艇副航海长、艇长、扫雷艇大队副大队长；
1975年9月，任海军川岛水警区副司令员；
1979年1月，任海军川岛水警区司令员；
1983年2月，任海军榆林基地副参谋长；
1985年8月，任海军榆林基地副司令员；
1987年8月，任海军榆林基地司令员；
1988年3月14日，越南海军入侵南沙群岛，海军榆林基地司令员杨玉书率部与越南海军在南沙群岛赤瓜礁海域发生激烈海战，以微小代价击沉击伤敌舰船三艘。此役收复了南沙部分岛礁，为今后南海斗争建立了坚强的桥头堡和支撑点，具有重大的战略意义，当时在国内外都引起了强烈反响，被认为显示了中国维护南海主权的决心和中国海军的力量。
1988年9月，被授予海军少将军衔；
1990年6月，任海军南海舰队副司令员；
1993年12月-2000年10月，任南京军区副司令员兼海军东海舰队司令员、南京军区党委常委、东海舰队舰队党委书记。
1995年4月18日，南京军区副司令员兼海军东海舰队司令员杨玉书中将为镇海口海防历史纪念馆奠基带头挥锨铲土。
1995年7月，晋升为中国人民解放军海军中将军衔。
1995年8月31日，南京军区副司令员兼海军东海舰队司令员杨玉书中将率领中国海军“淮北”号（541导）弹护卫舰，应俄罗斯军方邀请，再访俄罗斯符拉迪沃斯托克(海参崴)，参加俄罗斯纪念第二次世界大战和反法西斯战争胜利50周年的庆典。在为期5天的访问中，中国海军官兵出席了俄罗斯纪念第二次世界大战和世界反法西斯战争胜利50周年的庆祝大会，参加了市民纪念第二次世界大战遇难者大会，与俄罗斯、美国水兵一道进行了陆上阅兵式和分列式。
1997年2月27日至3月29日，中国人民解放军南京军区副司令员兼海军东海舰队司令员杨玉书中将，率领“青岛”号导弹驱逐舰和“铜陵”号导弹护卫舰组成舰艇编队，从上海吴淞军港起程，前往泰国、马来西亚和菲律宾三国访问。此次出访，是中国海军舰艇编队第三次访问泰国，首次访问马来西亚和菲律宾。舰艇编队先后跨越东海、台湾海峡、南海、泰国湾、新加坡海峡、马六甲海峡、马尼拉湾等海域，总航程近7000海里。这是我国产导弹驱逐舰“青岛”号首次代表中国出访，为人民海军舰艇第十一次出访。“青岛”舰所在的青岛市及上海市分别印制了纪念封。为祝贺1997年舰艇编队出访东南亚三国凯旋，中国集邮部公司特发行纪念封一枚。这是中国集邮总公司首次为海军发行的纪念封，标号为“海—1”。
1997年3月，当选为第九届全国人大代表。
1997年7月20日，为庆祝中国人民解放军建军70周年，南京军区副司令员兼海军东海舰队司令员杨玉书中将在舟山海域举行阅兵式，检阅海军东海舰队。
1999年5月25日，俄罗斯海军总司令库罗耶多夫上将和夫人一行7人应中国海军司令员石云生中将邀请访问上海，南京军区副司令员兼海军东海舰队司令员杨玉书中将前往浦东国际机场迎接并陪同访问。
1999年10月2日至6日，俄罗斯太平洋舰队司令米哈伊尔·扎哈连科海军上将率领俄罗斯海军舰艇编队抵达上海，与南京军区副司令员兼海军东海舰队司令员杨玉书中将坐镇指挥中俄海军联合演习，太平洋舰队的旗舰、排水量11200吨的“瓦良格”号导弹巡洋舰和排水量7625吨的“激烈”号导弹驱逐舰，同中国海军多艘舰只进行了包括混合编队、通讯协调等方面的演练。为中俄自60年代中苏决裂后第二次到访中国、中俄两国海军首次联合演习。
