在林地上建房林业局是有权拆除的。
首先，根据《森林法》第四十四条规定，违反本法规定，进行开垦、采石、采砂、采土、采种、采脂和其他活动，致使森林、林木受到毁坏的，依法赔偿损失；由林业主管部门责令停止违法行为，补种毁坏株数一倍以上三倍以下的树木，可以处毁坏林木价值一倍以上五倍以下的罚款。
违反本法规定，在幼林地和特种用途林内砍柴、放牧致使森林、林木受到毁坏的，依法赔偿损失；由林业主管部门责令停止违法行为，补种毁坏株数一倍以上三倍以下的树木。拒不补种树木或者补种不符合国家有关规定的，由林业主管部门代为补种，所需费用由违法者支付。
其次，就该问题而言，当事人如果违规在林地内建房，林业部门可以向法院进行起诉，并申请强制执行。