我是轮转帮忙的,来到这个科室跟了一个上级,后来科室里休假的同事回来了,然后这个上级就主要是带这个同事,毕竟是自己科室的,我开始感觉没什么存在感,就像需要时用你,不用时你就不重要了。因为自己相对不忙,科室里的另一个同事因为怀孕,但是其他人不同意她不上夜班,所以就找到我,希望我和她一起上夜班,我考虑到谁都有难处的时候,加之现在确实没有什么存在感,我就同意了,科室里老大是知道的,现在是我有一天是白班,中午是休息的,我班助的这个同事是中午班,她想让我连上,但是我之前的那个上级不高兴,因为相当于我现在不帮他做事了,之前的那个上级和科室老大关系不错,我现在不想上中午班,一是我没有必要牺牲自己的休息时间,二是我还不想得罪之前的上级,我应该怎么拒绝?