结论：在公司非吸案件中，若业务员不符合非吸四要素而不构成犯罪，退赃的要求通常来源于公安机关、检察机关或法院，具体取决于案件所处的阶段和实际情况。

分析说明：

1. 公安机关阶段：

   • 在侦查阶段，如果公安机关认为业务员可能涉及非法吸收公众存款行为，但经调查后发现其不符合非吸的四要素（即非法性、公开性、利诱性、社会性），从而不构成犯罪，但若业务员有退赃的意愿或行为，公安机关可能会根据案件具体情况，要求或建议业务员退赃。这通常是为了挽回投资者的损失，维护社会稳定。

2. 检察机关阶段：

   • 在审查起诉阶段，检察机关会对公安机关移送的案件进行审查。如果检察机关认为业务员不构成犯罪，但考虑到案件的社会影响和投资者的利益，可能会建议或要求业务员退赃。特别是在业务员确实获取了非法利益的情况下，检察机关更可能提出退赃的要求。

3. 法院阶段：

   • 在审判阶段，如果法院最终判决业务员不构成犯罪，但在判决前或判决后，法院也可能根据案件的具体情况和投资者的损失情况，要求或建议业务员退赃。这通常是在法院认为退赃有助于弥补投资者损失、维护社会公平正义的情况下进行的。

特殊场景：

• 在某些情况下，即使业务员不构成犯罪，但出于人道主义考虑或为了尽快解决案件纠纷，业务员也可能自愿退赃。此时，退赃的要求可能来源于业务员自身、投资者或相关部门的协调。

后续行动建议：

• 如果业务员面临退赃的要求，建议其首先咨询专业律师，了解自己的法律权益和义务。
• 律师可以帮助业务员分析案件情况，评估退赃的必要性和合理性，以及退赃后可能面临的法律后果。
• 如果业务员决定退赃，应确保退赃过程合法合规，避免因此产生新的法律问题。

法律背景：

• 非法吸收公众存款罪的四要素是判断行为是否构成犯罪的重要依据。如果业务员的行为不符合这四要素，则不构成犯罪。
• 退赃是刑事案件中常见的一种处理方式，旨在挽回投资者的损失、维护社会稳定和公平正义。但退赃并不意味着承认犯罪，而是在不构成犯罪的情况下，出于人道主义或社会责任感而进行的自愿行为。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。