结论：对方拿钱让你办事没办好，对方要求退钱是否违法，这取决于你们之间的约定以及具体的情况，不能一概而论。以下从不同角度进行分析：
一、存在明确约定的情况
若双方有明确约定，且约定了未办成事需退钱：
- 在这种情况下，如果你未能按照约定完成事务，对方要求你退钱是合法的。因为你们之间的约定构成了合同关系，你未能履行合同义务，对方有权要求你承担违约责任，包括退还已支付的费用。
若双方有明确约定，但未约定未办成事需退钱：
- 如果你们之间的约定中并未明确提及未办成事需要退钱，那么对方要求你退钱可能缺乏直接的法律依据。然而，这并不意味着你完全无需承担任何责任。如果对方能够证明你存在过错或故意不履行约定，他们可能仍然有权通过法律途径要求你承担一定的赔偿责任。
二、不存在明确约定的情况
若双方未明确约定办事结果与退钱的关系：
- 在这种情况下，对方要求你退钱可能缺乏明确的法律依据。因为你们之间没有明确的合同约定，对方无法直接依据合同要求你退钱。但是，如果对方能够证明你存在欺诈、不当得利等行为，他们可能仍然有权通过法律途径要求你退还部分或全部费用。
从公平原则和诚实信用原则出发：
- 即使双方没有明确的约定，从公平原则和诚实信用原则的角度来看，如果你未能按照对方的期望完成事务，且对方因此遭受了损失，你应当考虑给予一定的补偿。这并非法律上的强制要求，而是基于道德和公平的考虑。
三、特殊情况：委托合同中的任意解除权
- 如果你们之间构成的是委托合同关系，根据《中华人民共和国民法典》的相关规定，委托人或者受托人可以随时解除委托合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。因此，在这种情况下，如果对方解除合同并要求你退钱，你需要根据具体情况来判断是否需要退还以及退还的金额。
建议：
- 在处理此类问题时，建议你首先回顾你们之间的约定和沟通记录，明确双方的权利和义务。
- 如果对方要求你退钱，你可以与对方进行协商，寻求妥善的解决方案。
- 如果协商无果，对方坚持要求你退钱，你可以考虑咨询专业律师（即向我咨询），了解你的法律权益和可能的法律后果，并根据律师的建议采取相应的行动。
后续行动参考：
- 如果你认为对方的要求不合理或存在争议，你可以收集相关证据（如聊天记录、转账记录、约定文件等），以备不时之需。
- 在处理此类纠纷时，保持冷静和理性，避免情绪化的行为或言论，以免加剧矛盾或引发不必要的法律风险。