关于“自愿退回给对方，对方收了钱后是否有责任”的问题，这主要取决于转账的性质、双方的约定以及相关法律法规的规定。以下是对此问题的详细分析：

1. 如果转账被视为赠与：

   • 无条件赠与：一旦赠与完成（即货币到账），赠与人通常不能撤销赠与。因此，如果你自愿退回给对方，对方收了这笔钱后，一般是没有责任再退还给你的。
   • 可撤销赠与的特殊情况：但在某些特殊情况下，如严重侵害赠与人或其近亲属的合法权益等，赠与人可以撤销赠与并要求返还。这些情况下，如果对方要求退还而你拒绝，可能会面临法律责任。

2. 如果转账基于借贷或其他法律关系：

   • 借贷关系：如果双方存在借贷的合意，即使最初是自愿转账，你也需要按照约定归还。如果对方要求退还而你拒绝，可能构成违约，并需承担相应的法律责任。
   • 错误认识的转账：如果对方因疏忽将钱误转给你，这属于不当得利。你有义务返还这笔误转的款项。若你明知是误转仍拒不退还，对方有权通过法律途径要求你返还，并可能面临相应处罚。
   • 其他合法约定：如果转账是基于双方的合法约定，如支付服务费等，你需要根据约定的内容来决定是否退还。如果约定中明确规定了不可撤销或退还的条件，你可以拒绝退还。

3. 特殊情况的法律责任：

   • 侵占罪：如果转账人原本意图是让你代为保管这笔钱，而你擅自占有并拒绝归还，且数额较大，可能构成侵占罪，需要承担刑事责任。
   • 诈骗罪：如果转账人是基于你的欺诈行为而自愿转账，那么你收款就可能构成诈骗罪，并需承担相应的刑事责任。

综上所述，对方收了自愿退回的钱后是否有责任，取决于具体的情境和转账的性质。如果你对此有疑虑或面临相关法律问题，建议直接向我咨询，以便我能更准确地为你提供法律建议。