结论：在非法吸收公众存款罪中，返给客户的佣金一般需要退还，但具体是否退还及退还范围需结合实际情况判断。以下从多个角度详细分析：
一、退还的法律依据
根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。在非法吸收公众存款案件中，行为人非法吸收的公众存款及其收益，包括返给客户的佣金，均属于违法所得，依法应当退赔给被害人，以尽可能挽回其经济损失并恢复被破坏的经济秩序。
二、退还的具体情况
佣金性质：
- 佣金作为非法吸收公众存款行为的一部分收益，通常被视为违法所得的一部分。因此，在退赔过程中，佣金一般需要被纳入退赔范围。
退赔范围：
- 非法吸收公众存款的本金是退赔的基本范围。
- 佣金作为违法所得的一部分，也属于退赔范畴。在扣除已返还部分（如本金、部分利息等）后，实际非法吸收的存款数额及佣金等收益为最终退赔金额。
退赔顺序：
- 在退赔时，一般先返还本金，再考虑利息和其他收益（如佣金）。如果财产不足以全额退赔，会按照一定比例进行分配。
特殊情况：
- 如果被害人与嫌疑人达成和解协议，并明确约定佣金等收益的处理方式，且该协议经审查确认具有法律效力，那么可能不再进行退赔。但这种情况较为特殊，需要具体案件具体分析。
三、退还对量刑的影响
- 积极退赔被视为悔罪表现，有助于减轻犯罪行为的危害后果。在非法吸收公众存款案件中，如果嫌疑人或被告人能够积极退赔包括佣金在内的违法所得，法院在量刑时通常会予以从轻处罚。
- 相反，如果有能力退赔而拒不退赔，或者隐匿、转移财产以逃避退赔责任，法院可能会酌情从重处罚。
四、实际操作中的注意事项
证据收集：
- 在退赔过程中，需要收集相关证据证明佣金的数额和性质。这包括但不限于合同、转账记录、聊天记录等。
协商与调解：
- 在退赔过程中，可以与被害人进行协商和调解，以达成双方都能接受的退赔方案。这有助于减少诉讼成本和时间成本。
法律程序：
- 退赔过程需要遵循法律程序，包括向法院申请退赔、提交相关证据、参与庭审等。如果嫌疑人或被告人对退赔决定有异议，可以依法提出上诉或申诉。
建议：如果您或您身边的人涉及非法吸收公众存款罪案件，并面临佣金退还问题，建议及时咨询专业律师以获取更具体的法律建议。同时，积极配合司法机关的调查和退赔工作，以争取从轻处罚和更好的法律后果。有问题可以直接向我咨询，我会根据您的具体情况提供详细的法律解答。