四年的同事，今年因为生病加上找工作，特别脆弱，他照顾了我，我接受了他。相处了一个月，他对我不错；但我发现自己没有感觉，只在他对我好的时候，才会开心一点。他这人很木讷，表达能力也差，聊天都不会。我不知道为什么一想的尽是他的不好，分开又担心以前的朋友会说东说西，感觉一点也不开心。怎么办呢？