结论概述：
详细分析：
一、无明确义务退回的情形
在大多数情况下，如果对方未经您的同意擅自转账，这并不构成您必须接受或保留该款项的法律义务。转账行为本身需要双方的合意，尤其是在涉及大额资金或特定交易目的时。若您并未与对方达成任何关于接收该款项的协议，且该转账并非基于某种法律关系（如合同履行、债务清偿等）而发生，那么您理论上可以自由处置该款项，包括选择退回或保留。
二、需退回的情形
然而，也存在一些特定情况下，您可能需要退回对方未经同意转账过来的款项。这些情形主要包括：
错误转账：如果对方因操作失误（如输入错误的账号、金额等）而将款项转至您的账户，且您能够意识到这一点（例如，转账金额与您的预期不符，或对方立即联系您说明情况），那么根据《中华人民共和国民法典》中关于不当得利的规定，您有义务将款项退回给对方。
欺诈或不当得利：如果对方通过欺诈手段（如冒充您的亲友、利用虚假信息诱导您接收款项等）使您接收了款项，或者您接收的款项属于不当得利（即没有合法依据取得的不当利益），那么您同样有义务将款项退回。在这种情况下，您还可能面临法律责任，如因欺诈而获得的利益可能被追缴，甚至可能涉及刑事犯罪。
特定法律关系下的义务：如果双方之间存在某种法律关系（如合同关系、债务关系等），且对方转账是为了履行该法律关系下的义务（如支付货款、偿还债务等），但您并未同意接收该款项或该款项的支付方式、金额等存在争议，那么您可能需要根据具体法律关系和合同条款来判断是否需要退回款项。在这种情况下，建议您咨询专业律师以获取更具体的法律建议。
三、建议与注意事项
保留证据：无论您选择退回还是保留款项，都建议您保留好相关证据（如转账记录、聊天记录、对方联系方式等），以备不时之需。
及时沟通：如果对方联系您说明转账情况或要求退回款项，建议您及时与对方沟通并了解具体情况。如果确认是错误转账或存在欺诈等情形，应尽快退回款项以避免不必要的法律纠纷。
咨询专业律师：如果您对是否需要退回款项存在疑问或无法与对方达成一致意见，建议您咨询专业律师以获取更具体的法律建议和指导。
如有任何合同纠纷方面的法律问题或需要进一步的法律帮助，请直接向我咨询。