我喜欢一个比我大十几岁的男人，我们都有自己的家庭，他现在在我们这里打工，我们相处的很好，他说在我们这里他是爱我的，我跟他在一起的时候，我发现他天天跟家里的那情人天天聊天，两个人都互相称呼老公老婆的，我该怎么办