结论：针对您在贷款小公司贷款二十万被收取五万多手续费且对方不肯退还的情况，您有权要求对方退还多收的手续费，并可以通过协商、投诉或诉讼等途径来维护自己的合法权益。

法律背景与建议：

1. 手续费合法性分析：

   • 根据相关法律法规，贷款机构在提供贷款服务时，可以收取一定的手续费或服务费，但这些费用应当合理且透明，不得违反国家关于金融服务收费的相关规定。
   • 在您的情况下，如果五万多手续费明显超出了合理范围，或者贷款公司在收取手续费时未充分告知您相关费用标准，那么该手续费可能存在不合法或不合理之处。

2. 要求退还手续费的途径：

   • 协商：首先，您可以尝试与贷款公司进行协商，说明手续费过高或不合理的情况，要求对方退还多收的部分。在协商过程中，您可以引用相关法律法规或行业规范来支持自己的观点。
   • 投诉：如果协商无果，您可以向相关监管部门（如地方金融监管局、消费者权益保护机构等）进行投诉，反映贷款公司的不合理收费行为。监管部门在收到投诉后，会进行调查并依法处理。
   • 诉讼：如果投诉也未能解决问题，您还可以考虑通过法律途径来维护自己的权益。您可以向法院提起诉讼，要求贷款公司退还多收的手续费，并可能要求对方承担诉讼费用等额外损失。

3. 可能面临的法律后果：

   • 如果贷款公司确实存在不合理收费行为，且您能够提供充分的证据来支持自己的主张，那么法院很可能会判决贷款公司退还多收的手续费。
   • 同时，贷款公司还可能因违反相关法律法规而面临监管部门的处罚，如罚款、吊销营业执照等。

行动建议：

• 收集证据：在采取任何行动之前，您需要收集相关证据来支持自己的主张，如贷款合同、手续费收据、与贷款公司的沟通记录等。
• 咨询专业意见：虽然我已经为您提供了一些基本的法律建议，但具体情况可能因地区、具体条款等因素而有所不同。因此，在采取进一步行动之前，建议您咨询专业律师以获取更具体的法律意见。
• 保持冷静与理性：在处理此类纠纷时，保持冷静与理性至关重要。避免与贷款公司发生不必要的冲突或争执，通过合法途径来维护自己的权益。

如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询。我会根据您的具体情况提供更详细的法律建议和帮助。