我家和邻居是上下屋关系，我家地势较高，在建房时就在房屋一侧修筑了一条排水沟，后来邻居修筑围墙时为了家里围墙内面积大一些和我爸爸商量将围墙修筑在我家排水沟正上方，给我家保留出水，但围墙修筑后时隔一年左右开始多次无故将我家的排水沟堵塞，后经镇政府多次协调邻居任然不同意将排水沟疏通，情急之下我家将围墙推到。
围墙推倒后镇派出所两次协调，最近一次将我爸爸，妈妈，哥哥叫到派出所协调，派出所在没有争取我家同意的情况下单方面出具协议书要求我家赔偿维修围墙的费用，并且排水沟不能从邻居家围墙下面过，要求我家将排水沟移至我家这边修筑，并且把我爸爸，妈妈叫到外面，留下我哥哥一个人在调节室进行调节，并对我哥哥说如果不签订此协议就拘留我爸爸，我哥哥情急之下连协议都没看清楚就将协议签署，但协议并非我家的意愿，但苦于没有任何受到威胁的证据无法推翻该协议书，请专业人士指导指导有没有其他办法能将此协议书推翻？
大哥，我需要的是解决纠纷的方法啊！不过谢谢你的回答！