城乡规划主管部门、城市建设规划局、国土资源局、城市管理行政执法局等。
《中华人民共和国城乡规划法》第四十条“在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证”是政府对违法建筑进行管制的主要依据，违法建筑的认定和处罚程序主要分为以下五个阶段：
（一）查明事实阶段
违章建筑的前提必须是未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设，建设工程规划许可证是个关键。因此行政机关首先要做的就是查清所涉嫌违章建筑形成的时间、原因、结构、面积、用途，是否存在民事纠纷，是否存在同时违反两个以上的行政法律规范的情形，是否已经行政执法机关查处等。经群众举报或规划局、国土资源局、城市管理行政执法局等相关行政执法机关发现违章建筑的存在后，在各自管辖范围内对违章建筑进行调查取证。
（二）责令停止违法行为阶段
《中华人民共和国城乡规划法》第六十四条规定，“未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。”行政机关经调查取证，确认建筑物违章后，对违章搭建人作出责令停止违法行为通知书，责令其停止违法建设行为。
（三）行政处罚权力告知阶段
搭建人拒不拆除违章建筑的，行政机关在作出行政处罚决定前，依法向其发出行政处罚告知书，告知拟处罚结果和被处罚人陈述、申辩等权利。法律设定告知程序的主要目的是为了实现处罚公开，保护当事人陈述权、申辩权的充分行使。
当事人不行使陈述权、申辩权或者行政机关在对当事人的申辩进行复核后，认为当事人提出的事实、理由或者证据不成立的，行政机关作出行政处罚决定书，责令搭建人限期拆除违章建筑，或者没收违法建筑物、构筑物或者其他设施，可并处罚款。当事人对行政处罚不服的，可以在接到处罚决定书之日起六十日内向同级人民政府或者上级行政机关申请复议，也可在接到行政处罚决定书之日起十五日内向人民法院提起诉讼。
（四）行政处罚阶段
被处罚人在法律规定的期限内既不履行也不提起复议和诉讼，行政处罚决定即发生法律效力，行政机关依法向人民法院申请强制执行。
（五）强制执行阶段
第六十八条规定，“城乡规划主管部门作出责令停止建设或者限期拆除的决定后，当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。”对违章建筑、违法建设的设施、违法设立的标示牌等需要强制拆除的，必须遵守下列程序：
1）由行政机关予以公告，限期由当事人自行拆除；
2）当事人无能力拆除的，行政机关可以委托没有利害关系的其他组织代履行；
3）当事人逾期拒不拆除的，除法律另有规定外，由行政机关依法申请人民法院强制执行。
希望对你有所帮助。
温馨提示：答案为网友推荐，仅供参考