首先，他从人力、物力、财力等各方面做准备。人力方面，着重整顿、充实京军。第一，急调两京、河南的被操军来北京。被操军是明朝政府安排的替补军人，就相当于现在的预备役二线部队。第二，急调山东以及沿海的备倭军来北京，备倭军是当时明朝政府安排驻守在沿海一线，随时准备抵御日本倭寇、比较擅长海战的军队。第三，调动京杭大运河沿岸的运粮军来北京。运粮军是在大运河沿线各州各府，为朝廷押运粮草的部队。这些部队的军人比较熟悉船只运输，打仗一般，但在短时间内把这些人调到北京，就使北京城的兵力由几万人迅速增加到了22万人，在兵力数量上形成了优势。
同时于谦还改革了军制，把传统的三大营改为10团营，为了更加适应防御作战的需要。三大营从明朝初年开始执行，指的是5军营、3000营和神机营，由各自的一把手总兵负责管理指挥。三大营相对比较独立，各有各的管理体系，不太利于统一指挥。于谦废除了三大营，在这22万多人里，挑选了相对精锐的15万人，分成了10个团营。这10团营结构非常紧密，责任明确，便于统一管理和指挥。后来于谦创立的这10团营管理制度，不但在北京保卫战中起到了很好的效果，而且对于明朝后来的兵制管理的方式也起到了很好的示范作用。
军队体制改革过程中，于谦又提拔了一批有才能、勇于担当的将领。在这些将领的率领下，对没有经验、战斗能力的士兵，进行了教育、训练。经过一个多月备战，明军士气大振。于谦还派监察御使白圭及其他15名官员，去河南、河北、山东、山西等地招募新兵，抓紧训练，以备补充。
武器装备方面，于谦也想了很多办法。当时京军中仅有大约1/10的将士们有盔甲，兵器严重不足。为了尽快改变这种局面，于谦一方面是命令工部加紧赶制兵器、盔甲，夜以继日，连续的生产。另一方面，请皇上传旨给南京，要求把南京库存兵器的2/3，大约126万件各种兵器紧急调入北京，补充给北京的守城部队。再有，于谦还派人员到土木堡一带，去收集明军8月份溃败的时候丢弃的物资。还真找回来不少东西，根据历史记载，找回头盔9000多顶，铠甲5000多件，火枪11,000多杆，神铳（简陋的火枪）2万只，神箭（带火的火箭）44万多支，火炮800余门，使明军的武器装备在短时间内得到了明显的补充和改善。
除这些之外，于谦还考虑到，面对瓦剌大军的进攻明军是防守。防守就一定要加固北京的城防设施。他组织人员进一步深挖城墙外的护城河，当时叫护城壕，让敌军轻易过不来。把原有的脏东西清理了，清理长度就接近50里地，整个围着老北京都城一圈。又加固了北京周边接近50里地长的城墙，整修了9座城门，尤其是箭楼，特别是城北的德胜门、安定门，城西的西直门、阜成门。他判断瓦剌大军来，很可能朝这4个门进攻，所以着重加固4座箭楼子，加强城防。他还命令工部组织人员，在城墙堞口处设立门扉，在城垛之间钉木栅栏门。木栅栏门使守城的部队士兵们隔着栅栏门，既能看见城下情况，又能往城下放箭，还能挡住敌军射上来的箭；敌人如果攀爬城墙的话，还能防止敌人跳进来。门是活的，能开能关，如果打开还能往城下扔石块，抛石灰。在较短的时间内，在都城一圈做了1万多个栅栏门。
此外，还在城墙上绑上沙栏木5100多丈——就是在城墙外，由城墙顶上往下悬挂的横着的一根一根圆木。守城部队在城墙顶上，通过绳子控制这些圆木在空中的高度，让其可升可降，能阻止瓦剌大军攀爬城墙。
俗话说手里有粮，心中不慌。要想打胜仗，必须储备足够的粮食。当时北京有好几百万担储备粮，可供全城老百姓、军人吃一年。按理是高枕无忧了。但这些粮食基本都存在北京东郊通州，粮食是从南方通过大运河用船运来的。在元朝的时候，运粮船可一直行驶到北京城里的什刹海。到明朝前期，因为河道淤塞、水量减少，运粮船只能到通州了。把粮食卸下船，存到朝廷在通州建设的仓库里，这里的仓库叫通仓。根据北京城里的需要，随时用马车运到北京城里的粮食仓库里，城里的粮食仓库叫京仓。北京保卫战之后，到明朝的嘉靖年间，又疏通了通惠河，运粮船才又行驶到北京东便门外大通桥下头了。
正统年间，进行北京保卫战的时候，运粮船到不了北京城。如果瓦剌大军把北京城包围了，城里的人还是吃不上粮食，通州的粮食等于给瓦剌大军预备了。当时朝廷里有人给皇上建议，一把火把粮食烧了，咱们吃不着，也别给敌人留着。于谦不同意，他说这些粮食是保卫战的重要物质基础，一定要想办法，把粮食要运进北京城。他安排官府征用500辆大马车，昼夜不停地从通州往北京城里运粮。他还动员老百姓、官员及家属亲友们往北京城里运粮，运到京仓，卸粮当时就给运费。对于累计运粮食达到20担的人，除运费之外，另单发白银一两以示鼓励。重赏之下必有勇夫，在于谦的优惠政策鼓励下，运粮部队川流不息，昼夜往返，不到几天功夫，把通州几十万担粮食运进了京城。这下官兵、全城百姓心里踏实了。
按理说准备到这种程度，够充分的了。他又继续发动群众，把全城青壮年都动员起来，备战备荒。城里的木匠、瓦匠、工匠、石匠等统一变成工程队，进行训练，还筹集了大量的钻石、木材、石灰、工具等，以备暂时急用。为了发动其他地区群众，于谦还让朝廷发文，传达到京城周围，甚至山西、河北等地，让那些地方官府把民众组织起来，发放武器，根据情况配合打击瓦剌军队，切断其后路。
