退休人员本来是不用缴税的,但是今年5月由于操作失误退休人员个税被扣了,要追回的话很麻烦,现在实际交出的个税和工资表上的个税总额无法持平。如果要使总额持平,在不退税的情况下必须减少其他人员的税,这样一来总额是平了,但是个人的年缴税总额和工资单上的是不平的。请问如果不向税务局要求退税,不去管多交的个税,只把在职人员的个税总额和工资表上的个人扣税总额做平,总数上多出了退休人员的所交税款行不行?如果不行,应该怎样操作?