宅基地是很珍贵的，如果长期不用，村里有权收回的。像江苏就规定，经批准后连续二年未使用的宅基地，应交还原集体经济组织另行安排利用。而且宅基地属于建设用地，把建设用地当农用地使用，属于改变用途，集体也是可以收回的。依据如下:
《土地管理法》第六十六条规定，有下列情形之一的，农村集体经济组织报经原批准用地的人民政府批准，可以收回土地使用权：
（一）为乡（镇）村公共设施和公益事业建设，需要使用土地的；
（二）不按照批准的用途使用土地的；
（三）因撤销、迁移等原因而停止使用土地的。
依照前款第（一）项规定收回农民集体所有的土地的，对土地使用权人应当给予适当补偿。
收回集体经营性建设用地使用权，依照双方签订的书面合同办理，法律、行政法规另有规定的除外。
综上，按法律规定集体经济组织是可以收回宅基地的，但按题主的描述，当地集体经济组织对于邻居家的违法行为并没有采取措施，而是默认了这种行为，那就不好说了。
来自：求助得到的回答