我是一个离过婚的女人，后来认识了一个有家庭的男人，他对我很好，我很纠结，就跟他说，我不想影响到你的家庭，甚至要你对家里人更加好，只要你陪我聊聊天就够了，他说听了我的话很感动。后来不知道为什么他没有以前那样对我了，现在甚至都不想理我了，可是我真的无法忘了他，我该怎么办？