结论：是否需要缴纳20%的违约金，主要取决于您与中介之间签订的合同条款内容。如果合同中明确规定了贷款未批下来时需要支付违约金，且该条款不违反法律法规的强制性规定，那么您可能需要按照合同约定支付违约金；如果合同中没有相关约定，或者约定违反法律法规，则您无需支付。

分析说明：

1. 合同条款的约定：

   • 在您与中介签订的贷款服务合同中，如果明确约定了“若贷款未批下来，客户需支付贷款金额20%作为违约金”等类似条款，且该条款是双方真实意思的表示，不违反法律法规的强制性规定（如《民法典》中关于违约金过高可请求调整的规定），那么该条款是有效的，您可能需要按照合同约定支付违约金。
   • 如果合同中没有此类约定，或者约定模糊不清，那么中介要求您支付违约金就缺乏合同依据，您有权拒绝支付。

2. 法律法规的强制性规定：

   • 即使合同中有相关约定，但如果该约定违反了法律法规的强制性规定，如违约金过高（根据《民法典》及相关司法解释，如果约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少），那么该约定可能被认定为无效或部分无效。
   • 在这种情况下，您可以通过法律途径主张调整违约金金额，甚至拒绝支付。

3. 实际操作中的建议：

   • 审查合同：首先，仔细审查您与中介签订的合同，特别是关于违约金的条款，了解自己的权利和义务。
   • 与中介协商：如果合同中有相关约定，但您认为违约金过高或不合理，可以尝试与中介协商，看是否能够达成一个双方都能接受的解决方案。
   • 寻求法律帮助：如果协商无果，或者中介坚持要求您支付违约金，而您认为这缺乏合同依据或违反法律法规，可以寻求专业律师的帮助，通过法律途径维护自己的权益。

后续行动建议：

• 如果您对合同条款或中介的要求有疑问，或者认为自己的权益受到了侵害，建议直接向我咨询，我会根据您的具体情况提供更详细的法律建议和帮助。
• 在处理此类纠纷时，保留好所有相关证据（如合同、沟通记录等）是非常重要的，这些证据将有助于您在法律程序中维护自己的权益。