结论前置：

1. 若520元为赠与性质，则您无需退还。
2. 若520元为借款或其他有偿性质，则您可能需要退还。
3. 若对方以不当得利为由要求退还，需根据具体情况判断。

详细分析：

针对您提出的“收款520别人说要回去不退”的问题，我们需要从多个角度进行分析，以明确您的法律责任和可能的应对策略。

一、赠与性质

首先，我们需要明确这520元是否构成赠与。根据《中华人民共和国民法典》中关于赠与合同的规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。如果这520元是对方明确表示赠送给您的，且您已经接受，那么这笔钱就构成了赠与。在赠与合同成立且有效的情况下，赠与人无权要求受赠人返还赠与的财产。因此，如果这520元是赠与性质，您无需退还。

二、借款或其他有偿性质

如果这520元并非赠与，而是借款或其他有偿性质的资金往来，那么情况就有所不同。在借款关系中，借款人负有返还借款的义务。如果对方能够提供证据证明这520元是借款，且您确实收到了这笔钱，那么对方有权要求您返还。此外，如果这520元是作为某种服务或商品的预付款或定金，且您未能提供相应的服务或商品，对方也可能有权要求退还。

三、不当得利

还有一种情况是，对方可能以不当得利为由要求您退还这520元。根据《中华人民共和国民法典》中关于不当得利的规定，因他人没有法律根据，取得不当利益，受损失的人有权请求其返还不当利益。然而，要构成不当得利，需要满足几个条件：一方取得财产利益、他方受有损失、取得利益与所受损失间有因果关系、没有法律上的根据。如果这520元并不构成不当得利（例如，您有合法的理由接收这笔钱），那么对方无权要求您退还。

四、建议与应对策略

1. 核实资金性质：首先，您需要核实这520元的性质。如果是赠与，您可以拒绝退还；如果是借款或其他有偿性质的资金往来，您可能需要考虑退还。

2. 保留证据：无论资金性质如何，您都应该保留相关的证据，如转账记录、聊天记录等，以备不时之需。

3. 沟通协商：在明确资金性质后，您可以与对方进行沟通协商，寻求双方都能接受的解决方案。

4. 寻求法律帮助：如果对方坚持要求退还且您认为自己的权益受到侵害，您可以寻求法律帮助，通过法律途径维护自己的权益。

最后，如果您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询。作为专业律师，我将根据您的具体情况提供有针对性的法律建议。