发给对方的钱不退回是否违法，需根据具体情况来判断。以下是从不同角度进行的分析：

1. 基于合同关系：

   • 如果双方之间存在明确的合同关系，且合同中规定了款项的支付与退还条件，那么对方不退回款项可能构成违约。根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，在这种情况下，你可以要求对方按照合同约定退还款项，如果对方拒绝，你可以通过法律途径维护自己的权益。

2. 基于不当得利：

   • 如果对方没有合法依据而获得了你的款项，且造成了你的损失，那么对方的行为可能构成不当得利。根据《中华人民共和国民法典》中关于不当得利的规定，受损失的人有权请求得利人返还取得的利益。因此，在这种情况下，你可以要求对方退还款项，如果对方拒绝，你同样可以通过法律途径来追回。

3. 基于赠与关系：

   • 如果款项是作为赠与给予对方的，且赠与合同已经成立并生效，那么一般情况下，赠与人不得随意撤销赠与并要求对方退还款项。但是，如果赠与合同中附有条件或者期限，且对方未履行相关条件或者期限未到，那么赠与人可能有权要求对方退还款项。此外，如果赠与行为存在欺诈、胁迫等情形，赠与人也可以请求撤销赠与并要求对方退还款项。

4. 基于其他法律关系：

   • 除了上述几种情况外，还可能存在其他法律关系导致款项的支付与退还问题。例如，如果款项是作为借款给予对方的，那么对方应当按照约定的期限和方式退还款项；如果款项是作为投资款给予对方的，那么退还款项的问题可能需要根据投资协议和相关法律法规来处理。

法律建议：

• 在处理此类问题时，建议你首先与对方进行沟通协商，尝试通过友好方式解决问题。
• 如果沟通协商无果，你可以收集相关证据（如合同、转账记录、聊天记录等），并咨询专业律师（即我，齐鹏律师，专注于刑事辩护、合同纠纷领域）的意见，以便更好地维护自己的权益。
• 根据具体情况，你可以选择向法院提起诉讼或者申请仲裁等法律途径来解决问题。

可能法律后果：

• 如果对方不退回款项且构成违法或违约行为，那么对方可能需要承担法律责任，包括退还款项、支付违约金或者赔偿损失等。
• 如果你通过法律途径维护自己的权益并胜诉，那么对方可能需要按照法院判决或者仲裁裁决来履行相关义务。