结论：收钱又退回是否还会有责任，这取决于多种因素，包括收款的原因、退款的时间、是否造成了损失以及双方之间的约定等。以下从不同角度进行分析：
一、基于合同关系的分析
合同成立与履行：
- 如果收款是基于一个有效的合同，且合同中明确规定了退款的条件和程序，那么按照合同约定退款通常不会产生额外的责任。
- 但如果退款行为违反了合同中的某些条款（如退款期限、退款方式等），则可能构成违约，需要承担相应的违约责任。
合同解除或撤销：
- 如果合同被依法解除或撤销，且退款是解除或撤销合同的一部分，那么退款行为通常是合法的，不会产生额外的责任。
- 然而，如果退款行为发生在合同解除或撤销之前，且没有合法依据，则可能构成不当得利，需要返还并可能承担赔偿责任。
二、基于不当得利的分析
不当得利的构成：
- 如果收款没有合法依据（如没有合同、合同无效或被撤销等），且退款行为发生在收款之后，那么收款方可能构成不当得利。
- 在这种情况下，即使收款方已经退款，但如果退款不及时或不完全，仍可能需要承担返还剩余款项及可能产生的利息等责任。
返还义务：
- 根据《中华人民共和国民法典》的相关规定，不当得利人应当返还取得的利益。如果退款行为没有完全履行这一义务，则可能面临法律追责。
三、基于侵权责任的分析
侵权行为的构成：
- 如果收款行为本身构成侵权（如欺诈、胁迫等），那么即使收款方后来退款，也可能需要承担侵权责任。
- 侵权责任的范围可能包括返还财产、赔偿损失等。
赔偿损失：
- 如果收款行为给对方造成了损失（如利息损失、交易机会损失等），且这些损失与收款行为有因果关系，那么收款方在退款后仍可能需要承担赔偿责任。
四、特殊情况下的责任
恶意退款：
- 如果收款方在收款后恶意退款（如为了逃避债务、转移财产等），则可能构成欺诈或其他违法行为，需要承担相应的法律责任。
第三方权益受损：
- 如果收款和退款行为涉及第三方权益（如担保人、共同借款人等），且退款行为导致第三方权益受损，那么收款方可能需要承担对第三方的赔偿责任。
建议：
- 在处理收钱又退回的问题时，建议首先审查双方之间的合同或协议，了解退款的条件和程序。
- 如果合同或协议中没有明确规定，或者规定不明确，建议咨询专业律师以获取更具体的法律建议。
- 在退款时，应确保退款及时、完全，并保留好相关证据（如退款凭证、沟通记录等），以备不时之需。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。