父亲四五年前和同村的一户人家交换了同等面积的一块田，当时是我父亲和那家的父亲的口头协议，并没有签书面协议。交换后我们家用那块地的一部分起了房子（房子已建三年 ），剩下的挖了化粪池和种了果树，那家也在交换后的地里一直种植农作物。现在那家人的儿子因为要起房子，但是和我们交换了的那块土地现在变成了农保田，不能起房子了，就想把两家的地换回来，我们不同意。那家的儿子就以没有书面协议为由一直闹，之前村委会的调解和司法所的调解意见都是只要我们家不同意把地换回去，对方就不能强行要求换回去。现在对方的律师找来，说对方的小组委员有三分之二的人不同意把这块地换给我们家，所以当年的口头协议无效。村支书和村委会给我们的意见是让我们也找本组的成员签字说互换已生效，且不同意换回去。
对方如果起诉，请问我家该怎么办，上到法庭结果会如何？
虽然是口头协议，但双方都已履行，是不是代表可以生效？
如果需要取证的话，邻居和村委都可以作证我们已互换这两块地，并各自使用多年。这样上法庭会被采纳吗？