法律分析：认定养殖场是否属于违法建筑，要看相对人是否办理了建设养殖场的相关用地手续，对于具有特殊历史遗留问题的养殖场，还需要进一步审查政府行为是否让相对人对建设养殖场、发展养殖业产生了一定的信赖。如果相对人基于对政府的信赖，兴建养殖场满足养殖产业发展的需要，那么仅以养殖场未办理相关使用手续而认定其属于违法建筑，不具有合理性。
法律依据：《中华人民共和国行政强制法》 第四十四条 对违法的建筑物、构筑物、设施需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。在法定期限内不申请行政复议或提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。