已经认证抵扣的发票要退回的，需要由购货方申请开具负数发票。根据法律规定，已经由购货方认证的增值税发票，发生退货或发票开具错误需要开具负数发票的，由购货方申请开具负数发票。
《关于红字增值税发票开具有关问题的公告》第一条第一项
增值税一般纳税人开具增值税专用发票（以下简称“专用发票”）后，发生销货退回、开票有误、应税服务中止等情形但不符合发票作废条件，或者因销货部分退回及发生销售折让，需要开具红字专用发票的，按以下方法处理：
（一）购买方取得专用发票已用于申报抵扣的，购买方可在增值税发票管理新系统（以下简称“新系统”）中填开并上传《开具红字增值税专用发票信息表》（以下简称《信息表》，详见附件），在填开《信息表》时不填写相对应的蓝字专用发票信息，应暂依《信息表》所列增值税税额从当期进项税额中转出，待取得销售方开具的红字专用发票后，与《信息表》一并作为记账凭证。