结论：能否不退需分情况讨论，主要取决于双方合同约定、退款原因及法律规定的义务，以下为具体分析：

1. 若双方合同明确约定退款条件，且触发退款义务
   若您与对方签订的合同中明确约定了退款条款（如货物质量问题、服务未达标等），且对方已按约定提供证据证明退款条件成立（如提供质量检测报告、服务未完成的证明等），则您有义务按合同约定退款。此时若拒绝退款，对方可能通过诉讼或仲裁要求您履行退款义务，并可能主张违约金或赔偿损失。

2. 若合同未约定退款条款，但对方能证明您构成不当得利
   若双方未签订书面合同，或合同未涉及退款条款，但对方能证明您收取的款项缺乏法律依据（如货物未交付、服务未提供等），则对方可能以“不当得利”为由要求您返还。根据《民法典》第985条，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还。此时若拒绝退款，对方可能通过法律途径追回款项。

3. 若对方要求退款的理由不成立，您可拒绝
   若对方无法提供证据证明退款条件成立（如仅以“不想要了”为由要求退款，但合同未约定无理由退货），或您已按合同约定履行全部义务（如货物已交付、服务已完成），则您有权拒绝退款。此时若对方强行要求退款，您可要求其通过法律程序解决，并保留相关证据（如合同、交付凭证等）以维护自身权益。

4. 若涉及发票与税务问题，需谨慎处理
   若对方已将货款打入您公司公户，且您已开具发票，退款时需注意税务处理。根据《增值税暂行条例》及实施细则，若发生销售退回或折让，您需按规定开具红字发票，并调整当期应纳税额。若未按规定处理，可能面临税务风险（如补缴税款、滞纳金等）。因此，即使您有权拒绝退款，也需与对方协商税务处理方式，避免后续纠纷。

建议行动步骤：

1. 核查双方签订的合同，明确退款条款及双方义务；
   
2. 要求对方提供要求退款的书面理由及证据（如质量报告、服务未完成的证明等）；
   
3. 若对方理由不成立，书面回复拒绝退款，并保留相关证据；
   
4. 若涉及税务问题，咨询专业税务人员，确保合规处理；
   
5. 若对方持续施压或威胁诉讼，建议提前咨询律师，制定应对策略。
   

如有进一步疑问或需要具体法律文件审核，可直接向我提问，我会结合您的实际情况提供更详细的建议。