我与一未婚男人发生了一段感情，现在不想再错下去想与他分手，可他知道我家地址还知道我老公的电话号码，老是拿这些来威胁我说如果我不和他好，他就会给我老公打电话吧这些都告诉我老公，让我的家庭破裂，为这事我都哭了好多回了，我现在该怎么办啊？谢谢那位能帮助我！