关于“非吸业务员自己的投资钱是否需要退赃”的问题，不能一概而论，需根据具体情况进行分析。以下是我基于法律知识和实践经验给出的详细解答：

1. 若业务员明知公司从事非法吸存活动仍参与并投资：

   • 在这种情况下，业务员的行为与单位的非法吸存行为有关联，其投入的资金性质可能与非法吸存款混同。因此，这部分资金很可能被认定为违法所得，需要予以追缴或退赃。
   • 法律依据：根据相关法律法规，非法吸收公众存款罪的涉案金额计算，一般以行为人参与的所有吸收资金的数额为标准，不论这些资金来源于何处。

2. 若业务员能够证明自己不知情，且投入资金为个人合法财产：

   • 如果业务员能够提供充分证据，证明自己是在不知情的情况下被误导参与投资，且其投入的资金为个人合法财产，未参与非法吸存行为，那么这部分资金可能不需要退赃。
   • 但这种情况在实践中较为罕见，需要业务员提供充分的证据来支持自己的主张。

3. 若业务员的投资行为与非法吸存行为有明确的区分：

   • 如果业务员能够证明自己的投资行为与单位的非法吸存行为有明确的区分，且投入资金来源合法、用途正当，未助力非法吸存行为（如未用于增强投资人信任等），那么这部分资金也可能不需要退赃。
   • 但司法机关在判定时会综合考量案件的具体情况，包括投入资金的性质、与非法吸收行为的关联程度等因素。

综上所述，非吸业务员自己的投资钱是否需要退赃，取决于多种因素的综合考量。建议业务员在面临此类问题时，积极配合司法机关的调查工作，如实陈述相关情况，并提供充分的证据来支持自己的主张。同时，也建议业务员在从事金融业务时，务必遵守法律法规，避免参与任何非法活动。如有任何疑问或需要进一步的法律咨询，请直接向我提问。