结论：是否需要退回佣金，取决于您与买家或中间方之间的具体约定以及相关法律法规的规定。以下从不同角度进行分析。
一、合同约定角度
存在明确约定：
- 如果您与买家或中间方签订的合同中明确规定了佣金的支付条件、时间以及在何种情况下需要退回佣金，那么您应当遵循合同约定。例如，合同可能规定，如果货物未完全交付或买家未支付全部货款，则您需要退回部分或全部佣金。
- 建议：仔细审查合同条款，特别是关于佣金支付和退回的部分。如果合同中有明确规定，且您的情况符合退回佣金的条件，那么您应当按照合同约定执行。
不存在明确约定：
- 如果合同中没有明确规定佣金在何种情况下需要退回，那么您和买家或中间方可能需要通过协商来解决这个问题。
- 建议：在这种情况下，您可以与买家或中间方进行沟通，说明您的情况和立场，尝试达成一个双方都能接受的解决方案。如果协商无果，您可能需要考虑通过法律途径来解决争议。
二、法律法规角度
佣金性质：
- 佣金通常被视为一种服务费用，是您为促成交易而提供的服务所获得的报酬。如果您的服务已经完成，且没有违反任何法律法规或合同约定，那么您有权保留已获得的佣金。
- 例外情况：然而，如果您的行为存在欺诈、误导或其他违法行为，导致买家或中间方遭受损失，那么您可能需要承担法律责任，包括退回佣金。
交易完成情况：
- 如果交易已经完全完成，即货物已经交付且买家已经支付全部货款，那么您通常不需要退回佣金。
- 未完成交易：如果交易未完成，例如买家只支付了部分货款或货物未完全交付，那么根据具体情况和合同约定，您可能需要退回部分或全部佣金。
三、实际操作建议
保留证据：
- 无论您是否需要退回佣金，都建议您保留与交易相关的所有证据，包括合同、发票、付款记录、沟通记录等。这些证据将在您需要证明自己的立场或解决争议时发挥重要作用。
寻求法律帮助：
- 如果您对是否需要退回佣金存在疑问，或者您与买家或中间方之间的争议无法通过协商解决，那么您可以考虑寻求法律帮助。作为一名专业律师，我可以为您提供法律咨询和代理服务，帮助您维护自己的合法权益。
总结与进一步思考：
是否需要退回佣金取决于多个因素，包括合同约定、法律法规以及交易完成情况等。在处理这类问题时，建议您首先仔细审查合同条款和相关法律法规，然后与买家或中间方进行沟通协商。如果无法达成一致意见，您可以考虑寻求法律帮助来维护自己的权益。如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。