居间费被退回后，是否需要交税取决于具体情况，但通常情况下，若已产生纳税义务，即便费用退回仍需依法纳税。以下从不同角度为您详细分析：
一、居间费纳税的基本规定
居间费作为劳务报酬所得或企业经营收入，在税务上有着明确的纳税要求。根据《中华人民共和国个人所得税法》及相关税法规定，无论是自然人还是企业、个体工商户，取得居间费收入均需依法纳税。
- 自然人：取得的居间费收入，按照劳务报酬所得缴纳个人所得税。具体税率根据应纳税所得额的不同而有所差异，最高可达45%。
- 企业或个体工商户：取得的居间费收入，应并入应纳税所得额，按照企业所得税或个人所得税的相关规定缴纳税款。
二、居间费被退回后的税务处理
已纳税情况：
- 如果居间费在退回前已经依法缴纳了税款，那么退回的费用本身并不改变已经产生的纳税义务。也就是说，即便费用被退回，已缴纳的税款通常不会因此退还（除非存在多缴或误缴等特殊情况，可依法申请退税）。
- 举例：假设您收取了10万元的居间费，并依法缴纳了2万元的个人所得税。后来，由于某种原因，这10万元居间费被退回。在这种情况下，您已经缴纳的2万元税款并不会因为费用的退回而自动退还。
未纳税情况：
- 如果居间费在退回前尚未产生纳税义务（例如，因合同未履行、服务未提供等原因导致费用退回，且在此之前未确认收入并纳税），那么自然无需就退回的费用缴纳税款。
- 举例：您与客户签订了居间服务合同，但因客户原因合同未履行，您收取的居间费被退回。在这种情况下，由于您并未实际提供居间服务，也未确认收入，因此无需就退回的费用缴纳税款。
三、特殊情况下的税务处理
税务筹划与合规性：
- 在某些情况下，您可能希望通过合理的税务筹划来降低税负。然而，务必确保您的税务筹划行为符合税法规定，避免采取欺骗、隐瞒等手段进行虚假纳税申报或不申报，以免构成逃税罪等违法行为。
- 建议：如果您希望进行税务筹划，建议咨询专业税务顾问或律师，以确保您的筹划行为合法合规。
税务争议解决：
- 如果您与税务机关在居间费的纳税问题上存在争议，可以通过行政复议或行政诉讼等途径解决。在争议解决过程中，务必保留好相关证据和资料，以便维护自己的合法权益。
四、注意事项
- 业务真实性：在收取居间费时，应确保业务真实有效，并与对方签订居间服务协议，明确相关条款。这有助于在税务稽查时证明您的收入来源和纳税义务。
- 合规性：避免将居间费与其他类型收入混淆或存在违法行为，以免引发进一步的税务处理或法律责任。例如，不要将居间费作为其他非应税收入进行申报或隐瞒不报。
总结来说，居间费被退回后是否需要交税取决于具体情况。如果已产生纳税义务且已依法纳税，则退回的费用本身并不改变纳税义务；如果尚未产生纳税义务或存在特殊情况（如多缴、误缴等），则可能无需纳税或可申请退税。在任何情况下，都应确保税务处理的合规性和准确性，以避免不必要的税务风险。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。