如果按照第一次建的话，那就是北京的早一些。但是北京的钟鼓楼曽毁于火，1420年重建钟鼓楼，这个是比西安最早建的钟鼓楼（1380年）晚的。但比西安钟鼓楼重修（1699年）要早。
我觉得要是从历史悠久的角度来说的话。。应该是北京的钟鼓楼？毕竟北京的是元代第一次建立，而西安第一次建立都要到明了
资料：（源于百度百科啦~）
西安鼓楼是所存在中国最大的鼓楼，位于西安城内西大街北院门的南端，东与钟楼相望。鼓楼始建于明太祖朱元璋洪武十三年，清康熙三十八年和清乾隆五年先后两次重修。楼上原有巨鼓一面，每日击鼓报时，故称“鼓楼”。鼓楼横跨北院门大街之上。鼓楼和钟楼是一对孪生兄弟，相距仅半里，互相辉映，为古城增色。鼓楼是明洪武十三年（公元1380年）建成的，比当初的钟楼早建4年。楼基面积比钟楼楼基大738.55平方米，通高34米，雄杰秀丽不亚于钟楼。古时楼上悬挂一面大鼓，傍晚时击鼓向全城居民报时，故称鼓楼
主持修建鼓楼的有长兴侯耿炳文、西安知府王宗周等人，据说是在微雨朦胧之中为鼓楼工程奠基的。清康熙三十八年（公元1699年）、乾隆四年（公元1740年）曾先后两次重修。
北京钟鼓楼始建于元代至元九年(即公元1272年)，当时位置处于在大都城(即今北京)北京钟鼓楼外景的中心，后毁于火，元成宗大德元年(公元1297年)重建之后又毁于火。明永乐十八年(公元1420年)重建钟鼓楼，并确立了其位于都城南北中轴线北端的地位。后相继毁于火。嘉靖十八年(1539年)鼓楼遭雷击起火，第三次重修。清乾隆十年(1745年)再次重建钟楼。钟鼓楼在清代历经修复，所见到的鼓楼建于明代，钟楼则建于清代。