面对您在贷款公司贷款后，银行要回贷款而贷款公司拒绝退还手续费的情况，您可以按照以下步骤来维护自己的合法权益：
一、初步准备与自查
查阅合同：首先，请仔细审查您与贷款公司签订的所有合同、协议以及关于手续费的书面说明。特别关注手续费退还的条件、服务标准以及违约责任等关键条款。这是您主张权利的重要依据。
保留证据：在维权过程中，务必妥善保存所有相关证据，包括合同原件、手续费支付凭证、与贷款公司的沟通记录（如通话录音、聊天记录）等。这些证据将在后续步骤中发挥至关重要的作用。
二、与贷款公司协商
友好沟通：尝试以平和、理性的态度与贷款公司进行友好沟通，明确表达您的退款诉求，并解释要求退还手续费的原因，比如服务未按约定提供、发现不合理收费等。您可以引用《中华人民共和国民法典》的相关规定，指出贷款公司若不退还手续费可能存在的违约行为。
记录协商过程：无论协商是否成功，都应详细记录沟通过程，并保留相关证据，以备后续使用。
三、向监管机构投诉
正规持牌金融机构：如果贷款公司是正规持牌机构，您可以向当地银保监会派出机构投诉。提交详细的投诉材料，包括合同副本、手续费支付凭证、沟通记录等，并明确说明投诉事项和诉求。
非正规机构：对于非正规的小额贷款公司或民间借贷机构，您可以向当地金融工作局或市场监督管理部门反映情况。这些部门将协助您协调解决纠纷。
四、寻求消费者协会帮助
贷款服务属于消费范畴，因此您也可以向消费者协会投诉。您可以通过拨打12315热线或访问当地消协的官方网站、公众号等渠道提交投诉信息。消协会介入调解，促使双方达成合理解决方案。
五、考虑法律途径
发送律师函：如果上述方法均无效，且您认为自己有充分的法律依据要求退还手续费，您可以考虑委托律师向贷款公司发送律师函。律师函具有正式性和威慑力，有时能促使贷款公司重新考虑问题并解决问题。
提起诉讼：作为最终手段，您可以向有管辖权的人民法院提起民事诉讼。在诉讼中，您需要向法院提供充分证据支持自己的主张。法院将依法审理案件，并作出公正判决。如果胜诉，贷款公司将被要求退还手续费；如果其不履行判决，您还可以申请强制执行。
六、注意事项
保持冷静与理性：在维权过程中，请保持冷静和理性，避免采取过激行为或言语攻击对方。
及时行动：一旦发现贷款公司存在不当行为，请及时采取行动维护自己的权益，以免错过最佳维权时机。
寻求专业帮助：在整个过程中，如有需要，您可以寻求专业法律人士的建议和帮助，以确保您的权益得到充分保护。
综上所述，面对贷款公司不退还手续费的情况，您应综合运用多种手段来维护自己的合法权益。在处理过程中，务必注重证据的收集和保存，保持冷静与理性，并及时寻求专业帮助。