结论前置：

1. 若发票开具合法且交易真实，一般不可无故不退还。
2. 若存在欺诈、错误开具等情形，则可能需退还或采取其他法律措施。

详细分析：

首先，我们需要明确的是，蓝字发票（通常指增值税普通发票或专用发票的正数发票）的开具，是基于真实的交易背景和合法的税务规定。当您开具了蓝字发票，并且对方已经按照发票金额将款项支付给您时，这通常意味着双方已经完成了一次合法的交易。

从法律角度：

1. 合同关系：如果双方之间存在书面的或口头的买卖合同，且合同中明确规定了款项的支付和发票的开具作为交易完成的条件，那么一旦这些条件得到满足，交易即视为完成。在此情况下，您无故不退还对方已支付的款项，可能构成违约，需要承担相应的法律责任。

2. 不当得利：从民法原理出发，如果一方在没有合法依据的情况下获得了利益，而另一方因此遭受了损失，那么获得利益的一方可能构成不当得利。在此场景下，如果您无正当理由不退还对方已支付的款项，且该款项的支付是基于合法的交易背景，那么您的行为可能被视为不当得利，需要返还。

从实际操作角度：

1. 核实交易真实性：首先，您需要核实与对方之间的交易是否真实存在，以及发票的开具是否合法合规。如果交易真实且发票开具无误，那么您通常没有理由退还对方已支付的款项。

2. 沟通协商：如果对方提出退还款项的要求，您应该与对方进行沟通协商，了解对方提出此要求的具体原因。如果是因为对方自身的原因（如误付、重复支付等），且您能够证明交易的真实性和合法性，那么您可以拒绝退还。但如果是因为您或您方的原因（如发票开具错误、商品或服务存在问题等），那么您可能需要考虑退还或采取其他补救措施。

3. 法律途径：如果双方无法就退还款项的问题达成一致，且您认为自己的权益受到了侵害，那么您可以通过法律途径来维护自己的权益。这包括向法院提起诉讼或向相关行政部门投诉等。

特殊情况：

• 如果您发现发票开具存在错误（如金额、购买方信息等），或者交易本身存在欺诈、虚假等情形，那么您可能需要立即与对方沟通并采取相应的法律措施，包括但不限于退还款项、撤销交易等。

建议：

• 在处理此类问题时，建议您保持冷静和理性，避免与对方发生不必要的争执和冲突。
• 如果您对法律问题存在疑虑或不确定，可以及时向我咨询，我会根据您的具体情况提供专业的法律意见和建议。

总之，是否退还对方已支付的款项，需要根据交易的真实性、合法性以及双方之间的约定和法律规定来综合判断。如果您对此存在疑虑或不确定，建议及时寻求专业的法律帮助。