被要求支付的手续费，在特定情况下可以要求退回。以下是对此问题的详细分析：

一. 手续费的合法性分析

1. 基于消费者权益保护：根据《中华人民共和国消费者权益保护法》第八条，消费者享有知悉其购买、使用的商品或者接受的服务的真实情况的权利，这包括服务的费用情况。如果中介在提供服务前未明确告知手续费的存在或金额，或者手续费本身不合理，那么消费者有权要求退回。

二. 手续费与中介服务的关系

1. 中介服务的报酬与费用：根据《中华人民共和国民法典》第九百六十三条，中介人促成合同成立的，委托人应当按照约定支付报酬。如果手续费是中介服务报酬的一部分，且双方有明确约定，那么消费者通常无权要求退回。但如果手续费并非报酬，而是额外的不合理费用，消费者则有权要求退回。
2. 中介人的如实报告义务：根据《中华人民共和国民法典》第九百六十二条，中介人应当就有关订立合同的事项向委托人如实报告。如果中介人未如实报告手续费的情况，导致消费者在不知情的情况下支付了手续费，那么消费者有权要求退回。

三. 手续费的退回条件

1. 手续费不合理或未明确告知：如上述分析，如果手续费本身不合理，或者中介在提供服务前未明确告知手续费的存在或金额，消费者有权要求退回。
2. 中介人违反义务：如果中介人违反了如实报告的义务，或者存在其他违反合同或法律规定的行为，导致消费者支付了不合理的手续费，消费者同样有权要求退回。

综上所述，如果你被要求支付的手续费存在不合理、未明确告知或中介人违反义务等情况，你有权要求退回。我建议你首先与中介进行协商，如果协商无果，可以考虑通过法律途径维护自己的权益。如有进一步需要，您可以继续咨询我。