甲乙双方合作开培训,前期还在招生中,还没有投资房租、资金进去,乙方签订合同后发现甲方能力不行,不想合作,与甲方有口头上协议,甲方也答应可以,但协议书还没取消,现甲方反悔又不答应解除协议,乙方现在已单方面退出了,乙方这样做要负违约责任吗?