结论：施工单位给了红包过段时间退回去了，是否算受贿，需根据具体情况判断，若在收受红包时即存在受贿故意，即使后续退回，仍可能构成受贿罪；若收受时无受贿故意，且及时退回，则一般不构成受贿罪。以下从不同角度进行分析：
一、构成受贿罪的情形
受贿故意的存在：
- 法律背景：根据《中华人民共和国刑法》第三百八十五条，国家工作人员利用职务上的便，索取他人财物的，或者非法收受他人财物，为他人谋取利益的，是受贿罪。这里的关键在于“非法收受他人财物”时是否存在受贿的故意。
- 分析：如果施工单位给红包时，收受者明知是贿赂，且意图利用职务之便为施工单位谋取利益，即使后续退回红包，也因其收受时存在受贿故意，而可能构成受贿罪。受贿罪的成立，并不以财物是否实际占有为唯一标准，关键在于行为时的主观故意和客观行为。
为他人谋取利益：
- 法律背景：受贿罪的构成，除了收受财物外，还要求为他人谋取利益。这里的“为他人谋取利益”可以是实际的谋取行为，也可以是承诺、默许等。
- 分析：如果收受红包时，收受者已经或承诺为施工单位谋取利益，即使后续退回红包，也因其已经实施了受贿行为的一部分（即收受财物并承诺或实际为他人谋取利益），而可能构成受贿罪。
二、不构成受贿罪的情形
无受贿故意：
- 分析：如果施工单位给红包时，收受者并不知情，或者误以为是正常的人情往来，且没有利用职务之便为施工单位谋取利益的意图，那么即使后续发现红包并退回，也不构成受贿罪。因为受贿罪的成立要求行为人具有受贿的故意。
及时退回：
- 分析：如果收受者在发现红包后，立即或尽快退回，且没有利用职务之便为施工单位谋取利益，那么这种行为更可能被视为一种纠正错误或避免误解的行为，而不构成受贿罪。但需要注意的是，如果收受者在收受红包后，已经利用职务之便为施工单位谋取了利益，即使后续退回红包，也可能因已经实施了受贿行为而构成受贿罪。
三、特殊情况与考量
- 红包的性质与金额：红包的性质（如是否明确为贿赂）和金额大小，也是判断是否构成受贿罪的重要因素。如果红包金额巨大，且明显超出正常人情往来的范围，那么更可能被视为贿赂。
- 退回的时间与方式：退回红包的时间（如是否在发现后立即退回）和方式（如是否公开、透明地退回）也可能影响对行为性质的判断。如果退回行为及时、公开，且没有隐瞒或掩饰的意图，那么更可能被视为一种纠正错误的行为。
建议：如果您或您身边的人遇到了类似的情况，建议立即咨询专业律师，以便根据具体情况进行法律分析和判断。同时，也提醒大家，在职务活动中，应严格遵守法律法规和职业道德规范，避免涉及任何形式的贿赂行为。如有任何法律问题，可以直接向我咨询。