结论：开发商给了施工方钱又以各种理由退回一部分，这部分钱是否算工程款，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：
合同约定角度：
- 若合同中有明确约定：如果双方签订的建设工程合同中，对于工程款的支付、退回等有明确的约定，那么应当按照合同约定来处理。例如，合同中可能规定了某些情况下开发商可以退回部分款项，并明确了这些款项的性质（如是否为预付款、进度款的一部分等）。在这种情况下，退回的款项是否算作工程款，应直接依据合同条款来判断。
- 若合同中无明确约定：如果合同中没有对退回款项的性质进行明确约定，那么就需要根据双方的实际行为、交易习惯以及相关法律法规来综合判断。
实际行为与交易习惯角度：
- 实际行为：开发商和施工方在合同履行过程中的实际行为，也是判断退回款项性质的重要依据。例如，如果开发商在退回款项时，明确表示这是对之前支付工程款的调整或部分退款，并且施工方也接受了这一解释，那么这部分款项可能就不再被视为工程款。
- 交易习惯：在建设工程领域，存在一定的交易习惯和行业惯例。如果双方在长期的合作过程中，形成了关于工程款支付和退回的特定习惯或做法，并且这种习惯或做法不违反法律法规的强制性规定，那么也可以作为判断退回款项性质的参考。
法律法规角度：
- 相关法律法规：在判断退回款项是否算作工程款时，还需要考虑相关法律法规的规定。例如，《中华人民共和国民法典》中关于合同履行、债权债务等的相关规定，以及建设工程领域的相关法律法规和司法解释。如果退回款项的行为违反了法律法规的强制性规定，或者损害了国家、集体或第三人的利益，那么这种行为可能被视为无效或可撤销，退回的款项也可能需要重新进行认定和处理。
法律建议：
- 审查合同条款：首先，建议双方仔细审查建设工程合同中的相关条款，特别是关于工程款支付、退回等方面的约定，以明确双方的权利和义务。
- 收集证据材料：其次，双方应收集与退回款项相关的所有证据材料，如支付凭证、退款通知、沟通记录等，以便在发生争议时能够提供有力的证据支持自己的主张。
- 协商或诉讼解决：如果双方对退回款项的性质存在争议，并且无法通过协商达成一致意见，那么可以考虑通过诉讼或仲裁等法律途径来解决争议。在诉讼或仲裁过程中，法院或仲裁机构将根据双方提供的证据材料和相关法律法规来作出裁决。
可能后果：
- 如果退回的款项被认定为工程款的一部分，那么施工方可能需要根据合同约定或法律规定，继续履行相应的合同义务或享受相应的合同权利。
- 如果退回的款项不被认定为工程款，那么双方可能需要根据实际情况和法律法规的规定，对这部分款项进行重新处理或分配。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。