结论：违法分包收取的差价是否应退还实际施工人，需根据具体情况判断，但通常情况下，违法分包人因违法分包行为所获得的非法利益，包括差价，应当予以退还或通过其他方式补偿给实际施工人。以下从不同角度进行详细分析：
一、法律背景与原则
违法分包的法律性质：
- 违法分包是指承包人违反法律法规或合同约定，将工程分包给不具备相应资质条件的单位或个人的行为。这种行为不仅违反了法律法规的强制性规定，也损害了工程质量和安全，破坏了建筑市场的秩序。
非法利益的处理原则：
- 根据法律原则，因违法行为所获得的利益属于非法利益，应当予以追缴或退还。在违法分包的情况下，分包人通过违法分包行为所获得的差价，属于非法利益范畴。
二、具体法律分析
合同无效与利益返还：
- 违法分包合同通常因违反法律法规的强制性规定而被认定为无效。根据《民法典》的相关规定，合同无效后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。因此，违法分包人因违法分包行为所获得的差价，应当退还给实际施工人或通过其他方式补偿。
实际施工人的权益保护：
- 实际施工人是违法分包行为的直接受害者，他们投入了人力、物力和财力进行工程建设，却可能因违法分包人的违法行为而无法获得应有的报酬。为了保护实际施工人的合法权益，法律通常规定违法分包人应当承担相应的法律责任，包括退还非法所得或补偿实际施工人的损失。
三、实际操作与建议
收集证据：
- 实际施工人在主张退还差价或补偿损失时，应当收集充分的证据证明违法分包行为的存在以及自己因该行为所遭受的损失。这些证据可以包括违法分包合同、工程款支付记录、施工过程中的相关文件等。
协商与调解：
- 在证据充分的情况下，实际施工人可以首先尝试与违法分包人进行协商或调解，以达成退还差价或补偿损失的协议。这种方式可以节省时间和成本，也有助于维护双方的关系。
法律途径：
- 如果协商或调解无果，实际施工人可以通过法律途径维护自己的权益。他们可以向法院提起诉讼，要求违法分包人退还非法所得或补偿损失。在诉讼过程中，法院将根据事实和法律规定作出判决，保护实际施工人的合法权益。
四、特殊情况考虑
- 在某些特殊情况下，如违法分包人已经破产或无法联系到，实际施工人可能面临无法直接追回差价或补偿的困境。此时，实际施工人可以考虑向相关政府部门或行业协会寻求帮助，或者通过其他合法途径维护自己的权益。
最后，违法分包收取的差价在通常情况下应当退还实际施工人或通过其他方式补偿。实际施工人在遇到此类问题时，应当积极收集证据，尝试协商或调解，并在必要时通过法律途径维护自己的权益。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。