非吸业务员若没有客户，只有自己和家人，是否需要退佣金，需根据具体情况分析。

首先，我们要明确“非吸业务员”的身份以及“佣金”的性质。非吸业务员通常指的是在非法吸收公众存款等违法活动中，参与业务推广、客户招揽等工作的个人。而佣金，则通常是根据业务量或业绩来计算的报酬。

接下来，我们分析几种可能的情况：

1. 若该业务员并未实际参与非法吸收公众存款的行为：

   • 在这种情况下，如果该业务员并未直接或间接地参与非法活动，只是名义上的“业务员”，且并未从非法活动中获得实际利益（如佣金），那么通常不需要退还佣金。但需要注意的是，如果该业务员明知或应知所从事的是非法活动，仍参与其中，即使未直接获利，也可能面临法律责任。

2. 若该业务员实际参与了非法吸收公众存款的行为，并获得了佣金：

   • 在这种情况下，无论该业务员是否有真正的“客户”，只要其从非法活动中获得了佣金，就应当考虑退还。因为佣金是基于非法活动而获得的，属于违法所得，应当予以追缴或退还。

3. 特殊情况：

   • 如果该业务员虽然参与了非法活动，但并未实际获得佣金（例如，佣金被上级或组织方扣留），或者佣金已经被用于非法活动的支出（如购买非法活动的宣传材料等），那么在处理时就需要根据具体情况来判断是否需要退还以及退还的金额。

综上所述，非吸业务员是否需要退佣金，取决于其是否实际参与了非法活动、是否从非法活动中获得了佣金以及佣金的具体使用情况。如果确实存在需要退还的情况，建议尽快与相关部门或机构联系，按照法律程序进行退还，以避免可能的法律责任。同时，也提醒广大公众，要警惕非法金融活动，不要参与任何形式的非法集资或吸收公众存款的行为。