合同无效后，并非所有情况下都需要把所有违法所得退回，这取决于违法所得的性质以及合同无效的具体原因。以下从不同角度进行分析：
一、合同无效的基本法律后果
根据《中华人民共和国民法典》的相关规定，无效的合同自始没有法律约束力。因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失；双方都有过错的，应当各自承担相应的责任。这是处理合同无效后财产返还和损失赔偿的基本原则。
二、违法所得是否需要退回的具体分析
违法所得与合同无效的直接关联性
- 如果违法所得是直接基于无效合同取得的，比如通过欺诈、胁迫等手段签订的合同，并因此获得了不当利益，那么这部分违法所得通常是需要退回的。因为这部分利益是基于无效合同产生的，合同无效后，这部分利益就失去了合法依据。
违法所得的性质
- 非法利益：如果违法所得属于非法利益，比如通过非法手段（如盗窃、诈骗等）获得的财产，那么这部分财产不仅需要退回，还可能涉及刑事责任。但在合同纠纷中，我们主要关注的是基于合同行为产生的违法所得。
- 合法利益但合同无效：有时候，合同虽然无效，但一方可能已经基于合同付出了劳动或提供了服务，并因此获得了相应的报酬。如果这部分报酬是合理的，且并非基于欺诈、胁迫等非法手段获得，那么可能不需要全部退回。但具体情况需要根据合同无效的原因和双方过错程度来判断。
合同无效的具体原因
- 因一方过错导致合同无效：如果合同无效是由于一方当事人的过错导致的，比如欺诈、胁迫等，那么有过错的一方不仅可能需要退回违法所得，还可能需要赔偿对方因此遭受的损失。
- 双方过错导致合同无效：如果合同无效是由于双方当事人的过错共同导致的，那么双方可能需要根据各自的过错程度承担相应的责任，包括退回违法所得和赔偿损失等。
三、实际操作中的考虑因素
- 能否返还：如果违法所得已经无法返还或者没有必要返还（比如已经消耗或者转化为其他形式），那么可能需要折价补偿。
- 双方过错程度：在确定是否需要退回违法所得以及退回多少时，需要考虑双方的过错程度。如果一方过错较大，那么可能需要承担更多的责任。
- 实际损失：除了违法所得外，还需要考虑双方因此遭受的实际损失，并据此进行赔偿。
四、举例说明
假设甲乙双方签订了一份建设工程施工合同，但后来发现该合同因违反法律法规的强制性规定而无效。在合同履行过程中，甲方已经支付了部分工程款给乙方。如果这部分工程款是基于无效合同支付的，且乙方尚未完成相应的工程量或者工程质量不符合要求，那么乙方可能需要退回部分或全部工程款给甲方。但如果乙方已经完成了大部分工程量且工程质量合格，只是因为合同无效而无法继续履行，那么可能不需要全部退回工程款，而是需要根据实际情况进行折价补偿。
建议：在处理合同无效后的财产返还和损失赔偿问题时，建议咨询专业律师（即我本人，史亮律师，专注于建设工程、合同纠纷领域），以便根据具体情况制定合适的解决方案。