我家的有块土地和大伯家的土地相邻,他们家建养羊场,但是他们的面积不够,经我们两家协商,将我们的这块土地与他们家的另外一块进行置换(口头协议),等他们把养羊场建好后,又不同意了原有的置换商定,要将他家其他一块质量不好的土地给我们,我家当然不会同意,请回我们怎么才能将他们占用的土地要回来?谢谢