结论：对方想要回钱是否合法，取决于多个因素，包括双方之间的约定、款项的性质以及是否存在违法或不当行为等。以下从不同角度进行分析：

1. 双方约定：

   • 如果双方在委托时明确约定了款项的性质（如“办事费”、“感谢费”等），并且约定了如果事情办成后款项的处理方式（如是否退还），那么应当按照双方的约定来处理。
   • 若约定中明确款项为“一旦事情办成即不予退还”的性质，且该约定不违反法律法规的强制性规定，那么对方想要回钱可能缺乏合法依据。

2. 款项性质：

   • 如果款项被认定为“贿赂”或“不正当利益”，那么无论事情是否办成，该款项都可能被视为违法所得，需要依法予以没收或追缴。在此情况下，对方想要回钱显然是不合法的。
   • 如果款项是合法的“劳务费”或“咨询费”，且双方没有约定事情办成后需要退还，那么对方想要回钱可能缺乏合理的法律基础。

3. 是否存在违法或不当行为：

   • 如果在委托过程中，你或对方存在违法行为（如行贿、受贿、欺诈等），那么该行为可能影响款项的合法性。在此情况下，对方想要回钱可能涉及法律责任的追究。
   • 如果委托事项本身违法或违反公序良俗（如通过不正当手段提拔调动工作），那么即使事情办成，对方也可能因该行为的违法性而难以主张款项的合法性。

4. 法律后果与建议：

   • 如果对方坚持想要回钱，且双方无法协商解决，对方可能会通过法律途径（如起诉）来主张权利。在此情况下，你需要准备相关证据（如委托协议、付款凭证、沟通记录等）来证明自己的立场。
   • 我建议你先与对方进行友好协商，明确款项的性质和双方的权利义务。如果协商无果，且你认为自己的立场合法合理，可以寻求法律帮助来维护自己的权益。

进一步思考：在处理此类纠纷时，关键在于明确双方之间的法律关系、款项的性质以及是否存在违法或不当行为。因此，我建议你回顾整个委托过程，收集并整理相关证据，以便在需要时能够充分证明自己的立场。同时，你也可以考虑咨询专业律师（即我本人，廖世勇律师，专注于刑事辩护、建设工程、交通事故、工伤赔偿、离婚财产纠纷、经济纠纷、劳动纠纷、婚姻家庭领域）来获取更具体的法律建议。