若判决输了后付钱给对方，但对方又退回款项，这种情况的处理方式主要取决于双方的具体意愿和后续行为，以下分情况讨论：
双方达成和解或撤销诉讼的合意：
- 如果在判决后，双方通过协商达成了和解，或者原告方决定撤销诉讼，并且被告方已经支付的款项被退回，这通常意味着双方已经就争议事项达成了新的协议或者原告放弃了原有的诉讼请求。
- 在这种情况下，被告方无需再承担判决中的支付义务，因为双方已经通过和解或撤销诉讼的方式解决了争议。但为了确保法律上的明确性，建议双方签订书面和解协议或撤销诉讼的声明，并保留好相关证据。
对方退回款项但未明确表示放弃权利：
- 如果对方退回了款项，但并未明确表示放弃原有的诉讼请求或判决中的权利，那么这可能只是对方的一种暂时行为或策略。
- 在这种情况下，被告方仍需谨慎对待，因为对方可能在未来再次主张权利。为了防范潜在的法律风险，被告方可以主动与对方沟通，明确双方的权利义务关系，并考虑签订书面协议以确认争议已经解决。
对方退回款项可能涉及不当得利：
- 如果对方退回款项的行为没有合法依据，且导致被告方遭受了损失，那么这可能构成不当得利。
- 根据《中华人民共和国民法典》的相关规定，因他人没有法律根据，取得不当利益，受损失的人有权请求其返还不当利益。因此，在这种情况下，被告方有权要求对方返还退回的款项（如果实际造成了损失的话，但此处情境多为对方主动退回，故重点在于明确后续权利义务，而非直接要求返还已退回款项，不过若退回后又产生新争议可依此处理），或者通过法律途径维护自己的合法权益。但更常见的是，双方会就退回款项的原因和后续处理进行协商，以避免不必要的法律纠纷。
执行过程中的特殊情况：
- 如果判决已经进入执行阶段，被告方已经支付了款项，但对方又退回款项，这可能涉及到执行程序的调整或终止。
- 在这种情况下，被告方应及时与执行法院联系，说明情况，并按照法院的指示进行处理。如果对方退回款项是因为判决存在错误或需要撤销，那么被告方也可以依法申请再审或提出执行异议。
针对这种情况，给你的建议是：
- 保持沟通：与对方保持开放和诚实的沟通，了解对方退回款项的具体原因和意图，以便更好地应对后续可能出现的法律问题。
- 保留证据：保留好所有与案件相关的证据，包括判决文书、支付凭证、退回款项的记录等，以备不时之需。
- 咨询专业意见：虽然我已经提供了一些基本的法律分析，但每个案件的具体情况都有所不同。因此，如果你对如何处理这种情况感到困惑或不确定，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。
总之，面对判决输了后付钱给对方又被退回的情况，你需要根据双方的具体意愿和后续行为来灵活应对。保持沟通、保留证据并咨询专业意见是处理这类问题的关键。