结论前置：对方转账时备注“自愿赠予永不追回”后，这笔钱是否要不回去，需根据转账的具体性质和实际情况来判断，不能一概而论。
详细分析：
若转账确为赠与性质：
- 一般赠与：根据《民法典》的相关规定，赠与人在赠与财产的权利转移之后，通常是不能撤销赠与的。也就是说，如果这笔转账被明确认定为赠与，并且已经完成了转账行为，那么赠与人一般不能要求返还。例如，生日、节日等特殊场合下的转账，若明确表示为赠与，且没有附加任何条件，那么这笔钱通常是不需要返还的。
- 附义务赠与：然而，如果赠与是附有条件或义务的，那么受赠人就需要履行这些条件或义务。如果受赠人没有履行，赠与人就有权撤销赠与，并要求返还赠与的财产。但这种情况在您的描述中并未提及，所以暂时不考虑。
- 特殊情形下赠与的撤销：另外，还有一些特殊情形下，赠与人是可以撤销赠与的。比如，如果受赠人严重侵害了赠与人或者赠与人近亲属的合法权益，或者对赠与人有扶养义务而不履行，或者不履行赠与合同约定的义务等，赠与人都可以在知道或者应当知道撤销事由之日起一年内撤销赠与，并要求返还赠与的财产。但这种情况同样需要具体的证据来支持。
若转账并非赠与性质：
- 借贷关系：有时候，转账可能并不是赠与，而是借贷。即使双方没有签订书面的借条，但如果存在其他证据，如聊天记录、催款记录等，能够证明双方之间存在借贷的合意，那么这笔转账就不是赠与，而是借款。在这种情况下，出借人是有权要求借款人偿还借款的。
- 基于错误认识的转账：还有一种情况是，转账可能是基于错误的认识或者操作，比如转错了账户。在这种情况下，收款方就构成了不当得利。根据《民法典》的规定，受损失的人是有权请求返还不当利益的。
处理建议：
- 沟通了解原因：首先，您可以与对方进行沟通，了解对方为什么要求返还这笔钱。可能是对方误操作、误解了转账的性质，或者是双方之间的协议发生了变更等。
- 查看转账记录和协议：其次，您需要仔细查看转账记录以及双方之间的聊天记录、邮件等其他协议，确认转账的性质和目的。如果有证据表明这笔转账是借款或者暂存的资金，那么您就需要按照约定来还款。
- 考虑法律关系：根据转账的性质和实际情况，您需要判断自己是否有返还的义务。如果是无条件的赠与，并且没有上述的特殊情形，那么您通常是没有返还义务的。但是，如果涉及到道德和人际关系等方面的考量，您也可以考虑与对方协商解决方案。
- 保留证据和记录：最后，无论结果如何，您都需要确保保留好所有相关的转账记录、聊天记录以及其他证据。这些证据在将来可能会起到关键的作用，帮助您维护自己的权益。
总结：对方转账时备注“自愿赠予永不追回”后，这笔钱是否要不回去，并不能简单地根据这一句话来判断。而是需要根据转账的具体性质和实际情况来综合考虑。如果您对这个问题还有疑问或者需要进一步的帮助，请随时向我咨询。