建筑公司进项税退税后是否应该退回实际施工人，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：
一、合同约定角度
若合同中有明确约定：
- 如果建筑公司与实际施工人之间的合同中明确规定了进项税退税的归属和处理方式，那么双方应严格按照合同约定执行。例如，合同可能约定退税归建筑公司所有，用于弥补其因工程产生的其他成本；或者约定退税应按一定比例分配给实际施工人，以作为其施工成本的补偿。
若合同中无明确约定：
- 在没有合同明确约定的情况下，双方应协商确定退税的归属。协商时，可以考虑各自在工程中的贡献、成本投入、风险承担等因素，以达成公平合理的分配方案。
二、法律规定角度
税收法律法规：
- 进项税退税是税收法律法规赋予纳税人的权益，其归属原则上应属于纳税人，即建筑公司。然而，这并不意味着建筑公司可以随意处置退税款项，特别是在与实际施工人存在经济往来或合同关系的情况下。
合同相对性原则：
- 根据合同相对性原则，合同关系只能发生在特定的合同当事人之间，只有合同当事人一方能向合同另一方基于合同提出请求或提起诉讼。因此，如果实际施工人认为其有权获得部分或全部退税款项，应基于其与建筑公司之间的合同关系进行主张。
三、实际操作建议
审查合同条款：
- 建筑公司和实际施工人应首先审查双方签订的合同，特别是关于税收、费用分担和利润分配等条款，以确定退税的归属和处理方式。
协商解决：
- 如果合同中没有明确约定或约定不明确，双方应积极协商，寻求公平合理的解决方案。协商时，可以邀请第三方机构或专业人士进行调解或提供咨询意见。
法律途径：
- 如果协商无果，双方可以通过法律途径解决争议。例如，可以向人民法院提起诉讼或申请仲裁，由法院或仲裁机构根据合同约定、法律规定和实际情况作出裁决。
四、可能的风险与后果
法律风险：
- 如果建筑公司擅自处置退税款项，可能面临法律风险，如被实际施工人起诉要求返还退税款项或承担违约责任等。
商业信誉风险：
- 擅自处置退税款项还可能损害建筑公司的商业信誉，影响其与实际施工人及其他合作伙伴的长期合作关系。
总结与建议：建筑公司进项税退税后是否应该退回实际施工人，需根据合同约定、法律规定和实际情况进行综合判断。建议双方在签订合同时明确约定退税的归属和处理方式，以避免后续争议。如果合同中没有明确约定或约定不明确，双方应积极协商解决，必要时可以通过法律途径维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。