结论：工作安排了对方去了又不干了，并非只能退款，具体处理方式需根据合同约定、实际履行情况及双方过错程度等因素综合判断。以下从不同角度进行分析：
一、合同约定角度
合同中有明确约定：
- 如果双方签订的合同中明确约定了，在对方不履行工作义务时的处理方式，包括但不限于退款、支付违约金、赔偿损失等，那么应当按照合同约定执行。
- 例如，合同中可能规定：“若乙方（对方）在接受工作安排后无故不履行，应退还甲方（您）已支付的全部费用，并支付合同总金额20%的违约金。”在此情况下，您有权要求对方退款并支付违约金。
合同中没有明确约定：
- 如果合同中没有明确约定对方不履行工作义务时的处理方式，那么需要依据相关法律法规和双方的实际履行情况来判断。
二、实际履行情况角度
对方已部分履行：
- 如果对方已经部分履行了工作义务，但因故未能完全履行，那么您可能无权要求全额退款。此时，应根据对方实际履行的工作量、质量等因素，协商确定退款金额或采取其他补救措施。
对方未履行任何义务：
- 如果对方在接受工作安排后，未履行任何义务，那么您有权要求对方全额退款，并可能根据实际情况要求对方赔偿因此造成的损失。
三、双方过错程度角度
对方无故不履行：
- 如果对方无故不履行工作义务，且没有合理的理由或证据支持其不履行的行为，那么对方应承担全部责任，您有权要求对方退款并赔偿损失。
因您原因导致对方不履行：
- 如果因您的原因（如未按时支付费用、提供的工作条件不符合约定等）导致对方不履行工作义务，那么您可能无权要求对方退款，甚至可能需要承担违约责任。
四、法律建议
审查合同：
- 首先，仔细审查双方签订的合同，了解合同中关于工作安排、履行义务、违约责任等方面的约定。
收集证据：
- 收集与对方不履行工作义务相关的证据，如工作安排记录、对方未履行的证明、沟通记录等。
协商解决：
- 在了解合同约定和实际履行情况后，尝试与对方进行协商，寻求双方都能接受的解决方案。
法律途径：
- 如果协商无果，您可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁。在此过程中，建议您咨询专业律师，以便更好地维护自己的合法权益。
后续行动建议：如果您在处理此类纠纷时遇到任何问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供详细的法律建议和解决方案。