这属于土地使用权争议，在协商不成的情况下，应当先向乡（镇）政府或者县级人民政府申请处理，对人民政府的处理决定不服的，可以申请行政复议，也可以向人民法院起诉。如果不存在权属争议，就可以直接起诉要求返还。
根据《土地管理法》
第十六条 土地所有权和使用权争议，由当事人协商解决；协商不成的，由人民政府处理。
单位之间的争议，由县级以上人民政府处理；个人之间、个人与单位之间的争议，由乡级人民政府或者县级以上人民政府处理。
当事人对有关人民政府的处理决定不服的，可以自接到处理决定通知之日起三十日内，向人民法院起诉。
在土地所有权和使用权争议解决前，任何一方不得改变土地利用现状。
扩展资料
《土地管理法》
第七十七条 农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。
超过省、自治区、直辖市规定的标准，多占的土地以非法占用土地论处。
第八十三条 依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；
对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；
期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。
参考资料：中国网-中华人民共和国土地管理法