结论：一般情况下，钱是应该要回的，但具体能否要回以及要回的方式和难度，需分情况讨论。
如果双方构成委托合同关系且委托事项合法：
- 根据《中华人民共和国民法典》第九百三十条规定，受托人完成委托事务的，委托人应当按照约定向其支付报酬。因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。当事人另有约定的，按照其约定。
- 在这种情况下，如果事没办成并非是由于你的原因，且双方没有特别约定即使事没办成也不退钱，那么你有权要求对方返还你支付的钱款。如果对方拒绝返还，你可以通过协商、调解、仲裁或者诉讼等途径来维护自己的合法权益。
如果双方构成委托合同关系但委托事项违法：
- 如果委托事项本身是违法的，比如请托人要求受托人去行贿、走私等，那么这样的委托合同是无效的。根据《中华人民共和国民法典》第一百五十七条规定，民事法律行为无效、被撤销或者确定不发生效力后，行为人因该行为取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。
- 在这种情况下，虽然合同无效，但你仍有权要求对方返还你支付的钱款。不过，由于委托事项违法，双方可能都会面临一定的法律风险，因此在处理此类纠纷时需要更加谨慎。
如果双方不构成委托合同关系，而是被认定为行贿等违法犯罪行为：
- 如果拿钱托人办事的行为被认定为行贿等违法犯罪行为，那么不仅钱款可能无法要回，双方还可能面临刑事处罚。在这种情况下，建议你立即停止此类行为，并主动向相关部门说明情况，以减轻可能的法律责任。
建议：
- 在处理此类纠纷时，建议你先与对方进行协商，看是否能够达成和解并返还钱款。
- 如果协商无果，你可以考虑通过调解、仲裁或者诉讼等途径来维护自己的合法权益。在选择这些途径时，建议你咨询专业律师的意见，以确保自己的权益得到充分保障。
- 同时，我也提醒你，在未来的生活中要遵守法律法规，不要参与任何违法犯罪活动，以免给自己和他人带来不必要的麻烦和损失。如果你还有其他法律问题或需要进一步的法律帮助，请随时向我咨询。