我爱上了一个比我大21岁的离异男人,他有一16岁的小孩;我们在一起一年多了,他对我很好,家里不同意我嫁给他,但是我真的舍不得离开他,也接受不了他要跟其他女人在一起,不是看上钱,他也没有好多什么钱。我该怎么办也不知道怎么处理自己的感情