我的老板已经有老婆了,但是他在公司部门里面和另一个女的搞在一起。那个女的也有个外地的男朋友,但也是什么都不知道。她平时什么都不干,都是我们替她做的,每次升级加薪都是那个女的。我的老板平时也都不干活,也都是分配给下属来做,出了问题也不解决。按理说,我老板的老板,应该管管他,但是我老板的老板平时都在外地,一年也就来几个礼拜,他什么都不知道。我觉得不公平,但我又不想换工作,因为现在工作很不好找,我在这里待了很长时间了,别的工作给不了我足够的薪水。我该怎么办?