结论：线下贷款中约定取消贷款需支付五千元违约金是否合法，需结合贷款合同条款、违约金合理性及法律规定综合判断，不能一概而论。

1. 违约金合法性需以合同约定为基础

根据《民法典》第五百八十五条，当事人可约定一方违约时向对方支付违约金。若贷款合同中明确约定“取消贷款需支付五千元违约金”，且该条款未违反法律强制性规定（如未免除自身责任、加重对方责任、排除对方主要权利），则该条款原则上有效。

关键点：需核查合同是否明确约定违约金条款，且签订时是否履行了提示说明义务（如对格式条款进行加粗、标注等）。若未提示说明，可能因“未尽到提示义务”导致条款无效。

2. 违约金金额需符合“合理性”原则

即使合同约定了违约金，其金额也需合理。根据《民法典》及相关司法解释，违约金过高或过低的，法院或仲裁机构可依申请调整。判断标准通常为：

• 实际损失：贷款方因取消贷款产生的实际损失（如资金占用成本、预期收益损失等）；
  
• 比例限制：司法实践中，违约金超过实际损失30%的，可能被认定为“过高”。
  

示例：若贷款方实际损失仅为1000元（如资金短期闲置的利息损失），但约定违约金为5000元，则可能因“过高”被调整。

3. 需区分“违约金”与“其他费用”

若五千元并非违约金，而是“服务费”“手续费”等名义收取的费用，则需核查：

• 是否在合同中明确约定：未约定的费用，贷款方无权收取；
  
• 是否与贷款服务直接相关：若费用与贷款服务无关（如“咨询费”但未提供实际服务），可能构成违规收费。
  

4. 特殊情形：贷款方是否存在过错

若贷款方在合同签订或履行过程中存在过错（如未如实告知贷款条件、违规收取费用等），您可主张减免违约金。例如：

• 贷款方未履行告知义务，导致您误签合同；
  
• 贷款方实际未发放贷款，却要求支付违约金。
  

行动建议

1. 核查合同条款：重点查看违约金条款是否明确、是否加粗标注；
   
2. 计算实际损失：要求贷款方提供因取消贷款产生的实际损失证据；
   
3. 协商或投诉：若认为违约金不合理，可与贷款方协商减免，或向当地银保监会、金融监管局投诉；
   
4. 诉讼或仲裁：若协商无果，可依据合同约定向法院起诉或申请仲裁，主张调整违约金。
   

提示：法律问题需结合具体证据和合同条款分析，若您有合同文本或相关证据，可直接向我提供，我会进一步为您分析。