结论：是否需要退钱取决于多个因素，包括投资的性质、资金来源的合法性、公司是否知情以及投资协议的具体内容等。以下从不同角度进行分析：
投资性质与资金来源合法性：
- 如果职务犯罪人的投资是其合法所得，且投资行为本身不违反法律法规，那么公司接受并使用这笔资金，在一般情况下，并不需要退还。因为投资行为本身是基于双方自愿和合法的基础上的。
- 然而，如果这笔投资是职务犯罪人通过非法手段（如贪污、受贿、挪用公款等）获得的，那么这笔资金属于赃款。根据法律规定，赃款应当予以追缴并返还给原所有人或上缴国库。在这种情况下，公司如果明知或应知资金来源非法而接受并使用，可能需要承担相应的法律责任，包括退还资金。
公司是否知情：
- 如果公司在接受投资时并不知道投资人的资金来源非法，且没有合理的理由应当知道，那么公司在法律上可能不构成共同犯罪或帮助犯罪。但一旦公司得知资金来源非法，应立即停止使用并采取措施退还资金，以避免法律风险。
- 如果公司在接受投资时明知或应知资金来源非法，而仍然接受并使用，那么公司可能构成共同犯罪或帮助犯罪，需要承担相应的法律责任，包括退还资金、接受罚款等。
投资协议的具体内容：
- 投资协议是双方约定权利和义务的重要文件。如果投资协议中明确规定了资金来源的合法性要求，以及公司在发现资金来源非法时的处理方式，那么双方应按照协议执行。
- 如果投资协议中没有明确规定或规定不明确，那么双方应协商解决。在协商无果的情况下，可能需要通过法律途径解决争议。
法律建议：
- 立即审查投资协议：公司应首先审查与职务犯罪人签订的投资协议，了解协议中关于资金来源、使用、退还等方面的约定。
- 咨询法律专业人士：由于涉及职务犯罪和资金来源的合法性等问题，公司应尽快咨询法律专业人士，了解相关法律法规和司法实践，以便做出正确的决策。
- 采取必要措施：如果公司发现资金来源非法或存在其他法律风险，应立即停止使用资金，并采取必要措施退还资金或采取其他补救措施，以避免法律风险。
可能法律后果：
- 如果公司明知或应知资金来源非法而接受并使用，可能面临法律制裁，包括罚款、没收违法所得、甚至刑事责任等。
- 如果公司能够证明自己并不知道资金来源非法，且没有合理的理由应当知道，那么公司可能不需要承担法律责任，但应积极配合相关部门进行调查和处理。
总之，是否需要退钱取决于多个因素的综合考虑。公司应尽快咨询法律专业人士，了解相关法律法规和司法实践，以便做出正确的决策并避免法律风险。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。