结论概述：针对您提出的问题，即承诺给当事人走后门安排工作，但当事人突然不想让安排并要求退钱的情况，这主要涉及到合同效力、不当得利以及可能的违法性三个层面。以下是对这一问题的详细分析。
合同效力层面：
- 无效合同：如果双方之间的“走后门安排工作”的约定违反了法律法规的强制性规定，或者违背了公序良俗（例如，涉及行贿、受贿等违法行为），那么这样的合同是无效的。根据《中华人民共和国民法典》的相关规定，无效的合同自始没有法律约束力，因此，因该合同取得的财产，应当予以返还。
- 合同内容：若合同中明确约定了退款条款，在符合退款条件时，您应当按照合同约定退款。若合同未约定或约定不明，且合同因违法而无效，您同样需要返还因合同取得的财产。
不当得利层面：
- 定义：不当得利是指一方在没有合法依据的情况下获得利益，而另一方因此遭受损失。在您的情况下，如果当事人已经支付了费用，但您未能提供约定的服务（即走后门安排工作），且这种服务本身是违法的，那么您收取的费用就构成了不当得利。
- 法律后果：根据《中华人民共和国民法典》中关于不当得利的规定，您应当将取得的不当利益返还给受损失的当事人。
违法性层面：
- 违法行为：走后门安排工作往往涉及行贿、受贿、滥用职权等违法行为。如果您或当事人因此涉及法律纠纷，不仅可能面临民事上的退款责任，还可能受到刑事处罚。
- 法律建议：我强烈建议您立即停止任何违法的行为，并考虑与当事人协商退款事宜。如果当事人不同意协商或协商无果，您可能需要寻求法律途径解决纠纷，但请务必确保您的行为符合法律法规的要求。
进一步思考与建议：
- 风险评估：在处理此类问题时，您需要充分评估自己的法律风险。走后门安排工作不仅违法，而且可能给您带来严重的法律后果，包括刑事处罚和民事赔偿。
- 诚信原则：作为专业人士，您应当秉持诚信原则，遵守法律法规和职业道德规范。通过合法途径解决问题，不仅有助于维护您的声誉和形象，也有助于促进社会的公平和正义。
- 协商解决：如果可能的话，我建议您与当事人进行友好协商，寻求双方都能接受的解决方案。这不仅可以减少法律纠纷和成本，也有助于维护双方的关系和信任。
总之，面对这种情况，您应当首先评估合同的效力和违法性，然后考虑与当事人协商退款事宜。如果无法协商解决，您可能需要寻求法律途径来维护自己的权益，但请务必确保您的行为符合法律法规的要求。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。