若对方要求退还佣金，是否需要退还需分情况讨论，具体如下：

1. 若佣金构成不当得利，应当退还
   根据《民法典》第九百八十五条，不当得利是指一方在没有合法依据的情况下获得利益，导致他人受损。若你收取佣金缺乏合法依据（例如未实际促成交易、未履行约定服务，或对方支付佣金属于误操作），对方有权要求退还。此时若拒绝退还，对方可通过民事诉讼主张返还，法院可能判决支持。

2. 若佣金基于合法有效的合同或约定，无需退还
   若双方已签订书面或口头合同，明确约定佣金支付条件（如促成交易、完成特定服务），且你已履行全部义务，则佣金属于合法劳动报酬。此时对方无权单方面要求退还，除非合同中约定了退款条件（如交易未最终完成、服务未达标等）。若对方强行要求退还，你可拒绝并保留合同、沟通记录等证据，必要时通过法律途径维护权益。

3. 若佣金涉及违法或违规行为，可能被追缴或处罚
   若佣金与商业贿赂、职务侵占、逃税等违法行为相关（例如利用职务便利收取回扣、未申报纳税），则不仅需退还，还可能面临行政处罚或刑事责任。此时应主动配合调查，及时退还违法所得，避免法律风险升级。

建议行动步骤：

1. 核查佣金支付依据：检查合同、聊天记录、服务记录等，确认是否履行约定义务；
   
2. 评估对方要求合理性：若对方主张不当得利，要求其提供证据；若自身合法，明确拒绝并说明理由；
   
3. 协商或法律途径：若双方争议较大，可尝试协商解决；若协商无果，可依据合同约定或法律规定，通过诉讼或仲裁维护权益。
   

若有进一步细节（如佣金金额、支付方式、合同内容等），可向我补充说明，我会为你提供更具体的分析。