挂靠合同无效后，被挂靠方扣留的挂靠费原则上应当返还给挂靠人，但具体是否返还及返还的金额，需根据合同无效的原因、双方过错程度以及实际损失情况等因素综合判断。以下从不同角度进行详细分析：

一、合同无效的法律后果

根据《中华人民共和国民法典》的相关规定，无效的合同自始没有法律约束力。合同无效后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失，双方都有过错的，应当各自承担相应的责任。

二、挂靠合同无效的具体情形及返还分析

1. 因违反法律、行政法规的强制性规定而无效：

   • 如果挂靠合同因违反法律、行政法规的强制性规定（如建筑法中关于禁止挂靠的规定）而被认定无效，那么被挂靠方因该合同取得的挂靠费应当返还给挂靠人。因为这种情况下，合同自始无效，被挂靠方没有合法依据占有挂靠费。

2. 因双方恶意串通损害国家、集体或第三人利益而无效：

   • 如果挂靠合同是双方恶意串通，损害国家、集体或第三人利益而订立的，那么不仅合同无效，而且双方因该合同取得的财产都应当收归国家所有或者返还集体、第三人。在这种情况下，被挂靠方扣留的挂靠费也应当返还，但可能不是直接返还给挂靠人，而是根据具体情况处理。

3. 因一方以欺诈、胁迫手段订立合同而无效：

   • 如果挂靠合同是一方以欺诈、胁迫手段订立的，损害了国家利益，那么合同无效。在这种情况下，被挂靠方因欺诈或胁迫而取得的挂靠费应当返还给挂靠人。如果损害的是非国家利益，那么受损害方有权请求人民法院或者仲裁机构变更或者撤销合同，并要求对方赔偿损失。此时，挂靠费的返还问题将根据合同撤销后的处理原则来确定。

三、双方过错程度对返还的影响

在合同无效的情况下，如果双方都有过错，那么应当各自承担相应的责任。这意味着，如果被挂靠方在订立合同过程中存在过错（如明知挂靠行为违法仍同意挂靠），而挂靠人也存在过错（如故意隐瞒重要事实或提供虚假信息），那么双方可能需要根据各自的过错程度来分担损失。在这种情况下，被挂靠方扣留的挂靠费可能不会全部返还给挂靠人，而是会根据双方的过错程度进行折减。

四、实际损失情况对返还的影响

除了考虑合同无效的原因和双方过错程度外，还需要考虑实际损失情况。如果被挂靠方因挂靠行为而遭受了实际损失（如因挂靠人违约或违法行为导致的罚款、赔偿等），那么被挂靠方有权在返还挂靠费时扣除其实际损失的部分。当然，这需要被挂靠方提供充分的证据来证明其实际损失的存在和金额。

五、建议与总结

1. 对于挂靠人：如果挂靠合同被认定无效，且你认为被挂靠方扣留的挂靠费应当返还，那么你可以首先与被挂靠方进行协商，要求其返还挂靠费。如果协商不成，你可以向人民法院提起诉讼，要求被挂靠方返还挂靠费并赔偿损失。
2. 对于被挂靠方：如果挂靠合同被认定无效，且你认为你因挂靠行为而遭受了实际损失，那么你可以在返还挂靠费时扣除其实际损失的部分。但同样需要提供充分的证据来证明其实际损失的存在和金额。如果双方无法就返还金额达成一致，你也可以通过法律途径来解决争议。

总结来说，挂靠合同无效后被挂靠方扣留的挂靠费是否应当返还给挂靠人，需要根据合同无效的原因、双方过错程度以及实际损失情况等因素综合判断。如果你在这方面有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。