父亲差不多从我出生就没有付过家里的生活费，都是奶奶带大的。家里还有一个智障的弟弟，父亲也从来没有去照顾他，弟弟的生活开销都要我们去负担。弟弟的生活起居照顾都是母亲在照顾，去年，父亲还把奶奶给活活气死了。这样的父亲要来有何用？他不负担家里的开支，将来他老了，我们还要去赡养他吗？首先是他没有尽到抚养我们的义务，况且他对我母亲也不好，两个人已经分居好几年了。请问这样的情况，我怎样断绝父子关系才有法律的保障？签协议书有用吗？