结论：是否可以将别人付给你的钱退回你自己的账户，这取决于多个因素，包括款项的性质、支付的原因以及双方之间的约定等。以下从不同角度为你详细分析：

1. 款项性质与支付原因：

   • 赠与性质：如果这笔钱是对方赠与给你的，且没有附加任何条件或约定，那么你通常有权自由处置这笔钱，包括将其退回你自己的账户（尽管这在实际操作中可能显得不太必要，因为钱已经在你的名下）。但关键在于，一旦赠与完成，除非存在法定撤销情形（如欺诈、胁迫等），否则赠与人通常不能要求返还。
   • 借款性质：如果这笔钱是对方借给你的，那么根据借款合同的约定，你应当按照约定的方式和期限还款。在这种情况下，如果你希望将钱退回你自己的账户（可能是为了整理资金或便于管理），实际上并不改变还款的事实，但你需要确保这一操作不会违反借款合同的约定，比如是否允许提前还款、是否有违约金等。更重要的是，你应确保最终这笔钱能够按照合同约定或对方的要求，从你的账户正确划转到对方的账户或指定账户。
   • 其他性质：如果款项是基于其他原因支付的，如服务费、货款等，那么退回款项的方式和账户应遵循双方之间的约定或相关法律法规的规定。

2. 双方约定：

   • 无论款项性质如何，双方之间的约定都是至关重要的。如果双方有明确的书面或口头约定，规定了款项的支付、退回方式及账户等，那么应优先遵循这些约定。
   • 如果约定不明确或存在争议，双方应协商解决。在协商过程中，可以参考相关法律法规的规定，以寻求公平合理的解决方案。

3. 法律后果与风险：

   • 擅自退回的风险：如果你未经对方同意，擅自将款项退回你自己的账户（尤其是当款项性质为借款或其他需要归还的款项时），这可能构成违约或违法行为，对方有权要求你承担相应的法律责任，包括但不限于返还款项、支付违约金或赔偿损失等。
   • 正确操作的重要性：为了避免不必要的法律纠纷和风险，建议你在进行任何与款项退回相关的操作前，先与对方进行充分沟通并达成一致意见。同时，确保你的操作符合相关法律法规的规定和双方之间的约定。

建议：

• 在处理此类问题时，建议你先明确款项的性质和支付原因。
• 查阅双方之间的约定（如有），以了解具体的操作方式和要求。
• 如果对款项的性质、约定或法律后果存在疑问或不确定，建议你及时咨询专业律师（比如我，陶舒怡律师，专注于民间借贷、合同纠纷领域）以获取准确的法律意见和指导。
• 在进行任何与款项退回相关的操作前，务必与对方进行充分沟通并达成一致意见，以确保操作的合法性和有效性。