我和我老婆结婚六七年了有两个小孩，但是对我一直都很好，但是我们已经离婚了，我之前开车可能忽略关心他了，他在外面找男人被我知道了，我现在想复婚但是他现在叫我不在纠缠他他现在好烦，只想安安静静上班做到过年，叫我也不要去找他，他还说我在纠缠他只会带来恨我不会好的，但是我心理放不下他，请问我现在怎么办