若行为人收受贿赂五万元后及时退回，仍可能构成受贿罪未遂或中止，但可依法从轻或减轻处罚；若在收受时即无受贿故意，则可能不构成犯罪。具体处理需结合实际情况判断。以下分情况详细说明：

1. 构成受贿罪未遂或中止的情形

   • 法律定性：根据《中华人民共和国刑法》第三百八十五条，国家工作人员利用职务上的便利，索取他人财物或非法收受他人财物，为他人谋取利益的，构成受贿罪。若行为人已实际收受五万元贿赂，即使后续退回，仍可能因“收受”行为本身构成受贿罪的既遂形态。但若退回行为发生在受贿行为完成前（如尚未为行贿人谋取利益），或行为人主动放弃受贿意图并退回财物，可能构成犯罪中止；若因意志以外原因未能完成受贿（如被他人发现后被迫退回），则可能构成犯罪未遂。

   • 量刑情节：根据《刑法》第二十三条（犯罪未遂）和第二十四条（犯罪中止），对于未遂犯可比照既遂犯从轻或减轻处罚；对于中止犯，未造成损害的应免除处罚，造成损害的应减轻处罚。因此，退回贿赂的行为可能成为量刑时的从宽情节。

2. 不构成犯罪的情形

   • 无受贿故意：若行为人在收受财物时即明确表示拒绝，或因客观原因（如误收、被强行塞入等）短暂持有后立即退回，且无为行贿人谋取利益的主观意图，可能因缺乏“非法收受”的故意而不构成犯罪。

   • 及时退回的认定：司法实践中，“及时退回”通常指在收受财物后短时间内（如数日内）主动退回，且无拖延或隐匿行为。若行为人收受后长期持有，甚至已利用职务便利为行贿人谋取利益后再退回，则难以认定为“及时”，仍可能构成受贿罪既遂。

3. 实务建议

   • 保留证据：行为人应保留退回财物的书面凭证（如转账记录、收条、证人证言等），以证明退回的主动性和及时性。

   • 主动说明情况：若涉及职务行为，建议向纪检监察机关或单位主管部门主动报告，说明收受及退回财物的全过程，以降低法律风险。

   • 咨询专业律师：因受贿罪的认定涉及主观故意、客观行为及职务关联性等复杂因素，建议行为人或其家属在案件处理过程中及时向我咨询，以便结合具体证据和情节制定辩护策略。