我有一个十分要好的哥们，我俩是通过游戏认识的，一开始我老婆说最好不要和这个人接触，后来的两三年里，我和我爱人一起，与这个哥们交往了很长时间，（她说她是迫不得已）随着交往的时间越来越长，我和他的友情越来越深，但我老婆越来越讨厌他，因为觉得他素质比我们低，并且有一次，因为这个哥们和他女朋友吵架，我和我爱人一起去劝架，那个女孩生气要走，我爱人去劝阻，被那个女孩甩开了手，由于那个女孩，身体强壮，我爱人差点一个趔趄摔倒，这两点，成为我爱人必须要求我和那个哥们断交的导火索。
我很爱我的妻子，我不想她不开心，而我又放不下友情，因为我哥们对我也是真心的好，对我也是有益无损。
于是我和哥们只能在微信或者电话联系，平时是不被老婆允许见面的，但是始终有几次，在盛情难却的情况之下，我和哥们见了几次面，喝了几次酒，我都没敢告诉我爱人。
直到这一次，我爱人翻看我的手机，发现了我哥们朋友圈发的照片，是我们一起喝酒的照片，现在给我下最后通贴了，有他没我，有我没他。
我该怎么办呢？