现经历一场遗产官司，父母遗嘱上面记录了有一笔巨额财产，然而父母死后遗嘱被弟弟拿走（家人知道，苦于没有证据），之后他又拿走母亲的银行卡取走了这笔财产。现在时过三年，在没有证据拿出遗嘱的情况下，对父母的遗产进行继承，需要查出当年的巨额存款存取记录，不然将引起不公平判案。在申请法院查询的情况下，法官以“无账号无法查询”，与我意见不一致，为了使得公平判案，又不得罪法院工作人员，我想申请该法官回避，会不会因为得罪法官而引起不公平的判案？我该在什么时候申请回避最好？