他每天都带几个女人上班,下了班几乎都是去接其在的一个女人。我在家不上班,我觉得他们俩的单位离得很远,没必要总得一起回来吧,要是没我老公开车,她还不回家了?而且老公总说那女人好,和她合得来,可我难受,他又说我太小气。我说离婚,他死活又不肯。怎么办?