这是一个非常敏感和复杂的情况，涉及到信任、忠诚和婚姻的核心价值观。面对这种情况，采取一些步骤来处理可能是有帮助的：
理性分析：在做出决定之前，先理性分析整个情况。确保你有足够的证据或了解事情的全貌。过分频繁的决定可能会引起不好的后果。
冷静对话：尝试与你的丈夫进行冷静的对话。表达你的感受，询问他对这种情况的解释。开放的沟通是理解问题本质的第一步。
考虑婚姻辅导：如果沟通无法解决问题，考虑寻求专业的婚姻辅导。专业的辅导师可能能够提供中立的观点并帮助你们解决这个困难。
评估：评估你们的婚姻，包括信任、尊重和共同目标。这可以帮助你更清晰地了解关系关系是否愿意继续努力修复关系。
保护自己：在处理这个问题的过程中，确保保护好自己的心理健康。如果你觉得需要，寻求朋友、家人或专业心理专家的支持。
最终，是否选择离婚是一个需要深思熟虑的决定，它可能取决于你们的感情状况、对婚姻的期望以及您是否愿意继续努力修复关系。如果您觉得无法忍受并且失去了可能对婚姻的信任，离婚可能是一个可行的选择。