结论：不可以直接决定不将钱转回给对方，具体是否需要转回需根据实际情况判断，包括款项性质、双方约定以及是否存在合法抗辩理由等因素。
分析：
款项性质：
- 如果这笔钱是对方明确指示你代为转账给第三方的，且没有附加任何条件或说明这笔钱归你所有，那么从法律上讲，你只是这笔钱的临时保管人或中介人，没有权利占有这笔钱。在这种情况下，如果钱没有转出去，你应当将钱返还给对方。
- 如果对方在转账时明确表示这笔钱是赠与给你的，或者你们之间有明确的书面或口头协议约定这笔钱归你所有，那么你可以根据协议或赠与的约定来处理这笔钱，无需返还。
双方约定：
- 双方之间的约定是判断你是否需要返还钱款的关键。如果双方有明确的约定，且该约定不违反法律法规的强制性规定，那么应当按照约定来处理。
- 如果双方没有明确的约定，或者约定不明确，那么就需要根据交易习惯、行业惯例以及公平原则等因素来综合判断。
合法抗辩理由：
- 如果你认为存在某些合法抗辩理由，如对方存在欺诈、胁迫等行为，或者这笔钱是对方应支付给你的款项（如借款、报酬等），那么你可以拒绝返还钱款，并可以通过法律途径来维护自己的权益。
- 但是，如果你没有合法抗辩理由，而只是单纯地不想返还钱款，那么这种行为可能构成不当得利，对方有权要求你返还。
建议：
- 在处理这类问题时，建议你首先与对方进行沟通，了解对方的意图和要求，并尝试通过协商来解决问题。
- 如果协商不成，你可以考虑咨询专业律师（即我，刘亘煜律师，专注于经济纠纷、刑事辩护领域）的意见，以便更准确地判断自己的法律责任和权益。
- 在任何情况下，都不要擅自处理这笔钱，以免引发不必要的法律纠纷和损失。
后续行动：
- 如果你决定返还钱款，建议与对方签订书面协议，明确返还的金额、时间、方式等条款，以避免后续纠纷。
- 如果你认为存在合法抗辩理由，建议收集相关证据，如聊天记录、转账记录、协议等，以便在需要时通过法律途径来维护自己的权益。