结论：对方自愿发送多次520元红包后想要回，是否违法需视具体情况而定，一般情况下，若红包被认定为赠与，则不退还并不违法；但若存在特殊情形，如借贷关系或附条件赠与，则可能需要退还。

分析：

1. 赠与关系的认定：

   • 在日常生活中，人们常常会通过发送红包的方式表达爱意、祝福或友好。若对方自愿发送520元红包，且没有明确的借贷意图或附条件赠与的约定，那么这种行为通常会被认定为赠与。
   • 根据《中华人民共和国民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。赠与一旦完成，除非存在法定撤销情形，否则赠与人不得要求受赠人返还。

2. 特殊情形的考虑：

   • 借贷关系：如果发送红包时双方有明确的借贷合意，或者红包发送后双方形成了借贷关系（如通过聊天记录、口头约定等方式确认），那么对方要求退还红包可能构成合法的债权请求。
   • 附条件赠与：如果赠与行为附带了特定条件（如以结婚为目的的赠与），且该条件未成就，那么赠与人有权要求受赠人返还赠与物。但这种情况需要赠与人能够证明赠与行为确实附带了特定条件，且该条件未成就。

3. 法律后果：

   • 若红包被认定为赠与，且不存在上述特殊情形，那么对方要求退还红包将缺乏法律依据，你拒绝退还并不违法。
   • 若红包被认定为借贷或附条件赠与，且对方能够提供充分证据证明其主张，那么你可能需要承担退还红包的法律责任。

建议：

• 在处理此类纠纷时，首先应尝试与对方进行友好沟通，了解对方要求退还红包的具体原因和依据。
• 如果对方无法提供充分证据证明其主张，或者红包确实被认定为赠与且不存在特殊情形，那么你可以拒绝退还红包，并告知对方其要求缺乏法律依据。
• 如果对方坚持要求退还红包，且你无法确定红包的性质或存在特殊情形，建议咨询专业律师以获取更具体的法律建议。

进一步思考：

• 在日常生活中，发送红包时应尽量明确红包的性质和目的，以避免不必要的纠纷。
• 如果涉及较大金额的红包或存在特殊情形（如借贷、附条件赠与等），建议通过书面形式（如聊天记录、借条等）确认双方的权利和义务。