关于一般的代理费能否退还的问题，这并非一个简单的“是”或“否”的答案，而是需要根据具体情况、代理合同的条款以及相关法律法规来综合判断。
首先，我们要明确的是，代理费的退还通常与代理合同的履行情况、合同的有效性以及是否存在违约行为等因素密切相关。
合同履行情况：
- 如果代理合同已经按照约定履行完毕，且代理方已经完成了其应尽的义务，那么通常情况下，代理费是不予退还的。
- 如果代理合同因某种原因未能履行完毕，或者代理方未能按照约定完成其义务，那么根据合同的约定或相关法律法规，代理费可能是可以退还的，或者至少是可以部分退还的。
合同有效性：
- 如果代理合同本身存在违法、违规或违背公序良俗的情况，那么该合同可能被视为无效合同。在无效合同的情况下，根据《中华人民共和国民法典》的相关规定，行为人因该行为取得的财产，应当予以返还。因此，在这种情况下，代理费是有可能被退还的。
- 例如，在您提供的第一个案例中，吴某与刘某之间的委托事项是消除或抹掉真实的不良征信记录，这种行为违背了公序良俗和征信业的相关规定，因此合同被认定为无效，刘某需要向吴某返还已支付的代理费。
违约行为：
- 如果代理方在合同履行过程中存在违约行为，如未按时、按质完成代理任务等，那么根据合同的约定或相关法律法规，代理方可能需要承担违约责任，包括退还部分或全部代理费。
特殊情况：
- 还有一些特殊情况，如代理方因不可抗力等原因无法继续履行合同，或者双方协商一致解除合同等，也可能导致代理费的退还。
建议：
- 在签订代理合同前，务必仔细阅读合同条款，了解代理费退还的相关规定。
- 如果对合同条款存在疑问或不确定的地方，建议咨询专业律师或法律顾问的意见。
- 在合同履行过程中，如遇到代理方违约或未能按照约定完成义务的情况，应及时与代理方沟通协商，并保留好相关证据以备不时之需。
- 如果确实需要退还代理费，且双方无法协商一致，可以考虑通过法律途径解决争议。
综上所述，一般的代理费能否退还并没有一个固定的答案，而是需要根据具体情况和相关法律法规来综合判断。希望以上解答能对您有所帮助。