结论：根据您描述的情况，体制内两次收红包累计4000元且都已退回，一般不构成行贿罪，但具体还需结合其他因素综合判断。以下从多个角度为您详细分析：
一、行贿罪的构成要件
行贿罪是指为谋取不正当利益，给予国家工作人员以财物的行为。其构成要件主要包括：
- 主体要件：一般主体，即达到刑事责任年龄且具有刑事责任能力的自然人。
- 主观要件：故意，即明知自己的行为是为了谋取不正当利益而给予国家工作人员财物。
- 客体要件：国家工作人员的职务廉洁性。
- 客观要件：给予国家工作人员以财物，且数额较大或情节严重。
二、您的情况分析
数额问题：
- 您两次收红包累计4000元，这个数额相对较小，一般达不到行贿罪的立案标准（具体立案标准可能因地区和具体案件情况而有所不同，但通常远高于4000元）。
退回行为：
- 您已经将红包退回，这表明您并没有实际占有或使用这些财物，也进一步削弱了行贿的故意和客观行为。
谋取不正当利益：
- 行贿罪还要求行为人是为了谋取不正当利益而给予财物。如果您没有谋取不正当利益的意图，或者无法证明您有这样的意图，那么也不构成行贿罪。
三、可能存在的例外情况
虽然您的情况一般不构成行贿罪，但还需注意以下可能存在的例外情况：
如果红包被视为“感情投资”：
- 在某些情况下，即使红包数额不大，但如果被视为对国家工作人员的“感情投资”，且后续有谋取不正当利益的行为或意图，也可能被认定为行贿罪。不过，这通常需要更充分的证据来支持。
如果涉及其他违法行为：
- 如果您在收红包的过程中还涉及其他违法行为，如贪污、受贿的共犯等，那么可能需要根据具体情况进行定罪处罚。
四、法律建议
保持谨慎：
- 尽管您的情况一般不构成行贿罪，但建议您在未来的工作中保持谨慎，避免任何可能引发误解或涉嫌违法的行为。
咨询专业意见：
- 如果您对具体情况仍有疑虑或担心，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。
遵守法律法规：
- 无论在任何情况下，都应严格遵守国家的法律法规和职业道德规范，确保自己的行为合法合规。