结论：非国家工作人员受贿100万元，即便过了两年后退回行贿人，仍然可能构成犯罪。具体是否构成犯罪，需结合案件具体情况，从犯罪构成要件、退赃情节对量刑的影响等角度进行分析。

一、从犯罪构成要件角度分析

根据《中华人民共和国刑法》第一百六十三条的规定，非国家工作人员受贿罪是指公司、企业或者其他单位的工作人员利用职务上的便利，索取他人财物或者非法收受他人财物，为他人谋取利益，数额较大的行为。

1. 主体要件：本罪的主体是公司、企业或者其他单位的工作人员，不包括国家工作人员。若行为人符合这一主体特征，则满足本罪的主体要件。
2. 主观要件：本罪在主观方面表现为故意，即行为人明知自己利用职务上的便利索取或非法收受他人财物，为他人谋取利益的行为会损害公司、企业或其他单位的利益，仍希望或放任这种结果的发生。若行为人具有受贿的故意，则满足本罪的主观要件。
3. 客观要件：本罪在客观方面表现为利用职务上的便利，索取他人财物或者非法收受他人财物，为他人谋取利益的行为。其中，“利用职务上的便利”是指利用本人职务范围内的权力，即自己职务上主管、负责或者承办某项公共事务的职权及其所形成的便利条件；“索取他人财物”是指行为人主动向他人索要财物；“非法收受他人财物”是指行为人违反国家规定，收受他人财物；“为他人谋取利益”包括承诺为他人谋取利益、正在为他人谋取利益尚未实现、已经为他人谋取到利益等情形。若行为人实施了上述行为，且受贿数额达到较大标准（根据相关司法解释，非国家工作人员受贿数额在6万元以上的，应当认定为数额较大），则满足本罪的客观要件。
4. 客体要件：本罪侵犯的客体是公司、企业或者其他单位的正常管理秩序和职务行为的廉洁性。若行为人的行为侵犯了这一客体，则满足本罪的客体要件。

在您描述的案例中，行为人作为非国家工作人员，利用职务上的便利，非法收受了行贿人100万元财物，若其主观上具有受贿的故意，且为行贿人谋取了利益，则已经满足了非国家工作人员受贿罪的构成要件。即便行为人在两年后退回了行贿人100万元，但这并不影响其之前已经构成的犯罪事实。

二、从退赃情节对量刑的影响角度分析

虽然退赃情节不影响犯罪的成立，但会对量刑产生一定影响。根据《最高人民法院、最高人民检察院关于办理贪污贿赂刑事案件适用法律若干问题的解释》等相关规定，对于退赃、退赔的，综合考虑犯罪性质，退赃、退赔行为对损害结果所能弥补的程度，退赃、退赔的数额及主动程度等情况，可以减少基准刑的一定比例。具体来说：

1. 退赃时间：一般来说，退赃越早，对量刑的减轻作用越明显。在您描述的案例中，行为人在两年后退回赃款，虽然表明其有一定的悔罪表现，但相较于及时退赃，其对量刑的减轻作用可能会相对有限。
2. 退赃数额：退赃数额越大，对量刑的减轻作用越明显。在您描述的案例中，行为人退回了全部受贿款项100万元，这表明其有一定的悔罪诚意，可以在量刑时予以考虑。
3. 悔罪表现：除了退赃外，行为人的悔罪表现也是量刑时需要考虑的因素之一。若行为人能够如实供述自己的罪行，积极配合调查，认罪态度好，则可以在量刑时予以从宽处理。

建议：若您或您身边的人涉及此类案件，建议尽快向公安机关投案自首，如实供述自己的罪行，并积极退赃退赔。同时，寻求专业律师的帮助，以便在案件处理过程中更好地维护自己的合法权益。若您有任何法律问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。