张释之早年和他的哥哥张仲生活在一起。由于家中资财颇多，就捐官做了骑郎，侍奉汉文帝。张释之为官十年，默默无名，未得升迁，耗费了不少钱财，张释之深感不安，打算辞官回家。中郎将袁盎知道他德才兼备，惋惜他的离去，就请求汉文帝调补他做谒者。
张释之朝见文帝后，就陈说利国利民的大计，汉文帝说：“不要高谈阔论，说些接近现实生活、能立刻实施的事吧。”于是，张释之就秦亡汉兴之事发表了自己的见解，汉文帝听后很满意，就任命他做了谒者仆射。 上林观虎
张释之任谒者仆射时，跟随汉文帝登临上林苑观虎，文帝就虎圈所养动物提了十几个问题，上林尉环顾左右，不能回答。看管虎圈的啬夫从旁代上林尉回答这些问题，答得极周全，想借此彰显自己熟知业务、有问必答。汉文帝认为做官就应该这样，上林尉不合格，下诏命令张释之任命啬夫顶替上林尉。
张释之不赞同汉文帝的做法，就问汉文帝如何看待绛侯周勃和东阳侯张相如，汉文帝回答说是年高德劭的长者。张释之就说：“周勃和张相如能被称为长者，但二人都不善于言谈，现在这样做，难道让人们效法伶牙俐齿的啬夫吗？”随后，张释之援引历史，以秦朝重用徒具文笔、毫无恻隐之心的文书官吏，终致亡国为例，建议文帝不要因为啬夫伶牙俐齿就越级提拔，以免上行下效，树立不正之风。汉文帝采纳了张释之的建议，没有提拔啬夫。
出了上林苑，文帝驾车回宫，让张释之陪乘。路上，汉文帝问张释之秦朝执政的失败之处，张释之据实而言。汉文帝非常满意，就任命张释之做了公车令。
弹劾太子
张释之任公车令，掌管宫门事宜。太子刘启（即后来的汉景帝）与梁王刘揖同乘一辆车入朝，到了皇宫外的司马门没有下车，违反了宫卫令。张释之就追上太子和梁王，阻止他们进宫，并以“过司马门不下车为不敬”的罪名， 向汉文帝弹劾太子和梁王。汉文帝只得摘下帽子陪罪，薄太后知道了这件事，也亲自下达特赦令，太子、梁王才得以进入宫中。文帝觉察到张释之的与众不同，就任命他做了中大夫。
霸陵谈棺
过了不久，张释之升任中郎将，跟随文帝和慎夫人到了霸陵。汉文帝登临霸陵，向北眺望，指着通往新丰的道路对慎夫人说：“这就是通往邯郸的道路啊。”接着，汉文帝让慎夫人弹瑟，自己合着瑟的曲调而唱，心里很凄惨悲伤，回过头来对群臣说：“用北山的石头做椁，缝隙用切碎的苎麻丝絮堵住，再用漆粘涂在上面，难道还能打开吗？”群臣认为这个办法很好，都随声附和。
张释之向前进言说：“如果里面有能引起人们贪欲的东西，即使封铸南山做棺椁，也会有缝隙；如果里面没有引发人们贪欲的东西，即使没有石椁，又哪里用得着忧虑呢！”文帝称赞张释之的说法，后来任命他做了廷尉。 县人犯跸
汉文帝外出行至中渭桥，突然有一个人从桥下跑 出来，惊了文帝御驾的马，文帝险些被摔下，十分恼火，就命人拘捕了此人，交给廷尉查办。 张释之审讯后，依法判定为“冒犯车驾，罚金四两” ，上奏朝廷。
汉文帝很生气，认为判决过轻。张释之就解释说：“法律是天子和百姓应该共同遵守的，不应偏私。法有定规，如果加重处罚，如何取信于民。廷尉是天下公正执法的带头人，如果廷尉不公正，地方也会不公，百姓就会慌恐不安 ! ”汉文帝思考了很久才说：“廷尉的量刑判决是对的”。
玉环窃案
有人偷窃了汉高祖庙里的玉环，被卫士抓获，汉文帝十分恼怒，责令廷尉张释之严惩盗犯。张释之依照相关法律，奏请文帝判处斩首。汉文帝大怒，认为应当诛其九族。张释之据法以争，说：“依照法律，斩首已是最高处罚了。盗窃宗庙器物就诛灭全族，如果以后有人偷挖长陵上的一抔土，又该如何处罚？”汉文帝和薄太后商议良久，批准了张释之的判决。
中尉条侯周亚夫和梁相山都侯王恬开看到张释之议论公正，甚为赞叹，就同他结为亲密朋友。张释之由此受到天下人的称颂。 汉文帝去世后，汉景帝即位。张释之早年弹劾过时为太子的景帝，因而内心极为惶恐，想要称病隐退，又担心招致更大的惩罚，想当面向景帝谢罪，又不知道该怎么办。后来采用了王生的计策，终于见到汉景帝当面谢罪，汉景帝并没有责怪他。
由于张释之得罪过汉景帝，一年后，被贬为淮南王的国相。不久张释之就去世了。
