我和老公认识19年,结婚11年。之前我有过初恋，但没有发生过关系。这一点老公知道的。多年来一直怀疑我心里有其他男人，他不喜欢我参加单位聚会、同学活动等。为了他我也不太参加。他没有朋友，只有一个棋友，离婚2次了。后来有了女儿，智障，我很痛苦，与外界2年没有联系。但我觉得不应该脱离社会，我又没做对不起他的事，后来我又去工作了，单位、学校的活动我都参加，一年也就3、5次左右。但每次回来他都说我和别的男人出去了，以前说我去见初恋了，现在说见别的男人了，真不是这样的。
前几天又为同样的事闹矛盾，他还发脾气，我从没和他打骂过，这种时候我选择的只有出去转转躲躲，再怎样辩解他都不信的，而且我觉得没做亏心事，也无须辩解。别人都说这种疑心病很难好的，而且会越来越严重，他现在几乎每天都说怀疑的话，有的时候他看我真的火了，会好几天，但不几天就有犯了毛病。周而复始！！
孩子2岁前，我不工作时，我们堪称模范夫妻，因为那时我比较听他的话，（我比他小6岁）。我出去工作了，他就开始慢慢怀疑了，在我周围的男的他都怀疑遍了，他说用排除法......，我都无语了。以前我觉得随着我们年龄越来越大，越来越老他会好得，但现在看来根本不可能。孩子8岁了，他从不领她出去，我们一家3口甚至从没有一起出去玩过，因为他怕别人看孩子的眼光。我以前劝过他，他听不进去，我也就不再劝了，只好自己带孩子出去玩。孩子教育、上学、打理之类的事他也从不管，因为他工作较累挣钱辛苦，工资他都自己拿着，我从来不要，他也不乱花。家里的费用孩子的费用都与我来出，我也就不计较了，因为我工资比他高，但他还说我不和他一条心。还让我将自己花的钱记账，我反驳了他。从孩子2岁，我们就分屋睡觉，他说这样他能休息好了，夫妻生活还是正常的。但我觉得这样不太正常，他是不是心理有毛病呢？
我总觉得我们属于患难夫妻，走到现在不容易，以前我想生二胎，但他没有信心，谈到这个问题他总回避。现在他这样，我也没有了这种想法。我现在很矛盾，我不求别的，只求他不怀疑我，如果想和他过下去，就要一直忍受这种被怀疑不知道到什么时候？如果和他离婚，还下不了这个狠心，他就没有地方住了，我真的不忍心再去伤害他，而且孩子本来就可怜，再没有父爱？我该怎么办呢？