关于您提出的“约定好的挂靠费能否退还”的问题，这首先需要明确一个前提，即“挂靠”缴费行为本身是违法的。

根据《社会保险法》以及2022年3月18日起施行的《社会保险基金行政监督办法》的相关规定，通过虚构劳动关系、提供虚假证明材料等手段虚构社会保险参保条件、违规补缴等行为，均属于明确的违法情形。这些行为不仅损害了社保基金的安全，也破坏了社会保险制度的公平性和可持续性。

在您提到的情境中，如果双方约定了挂靠费，并试图通过这种方式来违规缴纳社会保险费，那么这种约定本身就是无效的，不受法律保护。因此，从法律的角度来看，这种违规的挂靠费是不应该被退还的，因为它本身就是基于一个违法的行为而产生的。

此外，如果涉及违规缴费的参保人员进而领取了养老保险、工伤保险等社会保险待遇，一经查实，除了要清退违规缴费、退回已领取的待遇外，还会影响个人信用，并可能受到行政处罚。如果构成犯罪，还将被追究刑事责任。

因此，我建议您不要尝试通过挂靠的方式来缴纳社会保险费，这不仅违法，而且存在很大的风险。如果您希望缴纳社会保险费，应该通过合法的途径，比如与用人单位建立真实的劳动关系，或者以灵活就业人员的身份自行缴纳。

如果您已经涉及了挂靠缴费的行为，并且担心相关费用的问题，我建议您尽快与相关机构或部门沟通，了解具体的处理方式和可能面临的法律责任。同时，也请您务必遵守法律法规，不要再进行任何违法的行为。