是否需要支付违约金，主要取决于贷款合同及房屋买卖合同的具体条款。以下是对这一问题的详细分析：

1. 贷款合同条款：

   • 贷款合同通常会明确约定在何种情况下借款人需要支付违约金。例如，如果合同中规定了在贷款发放后一定期限内不得撤销贷款，否则需支付违约金，那么你在此期限内撤贷就需要支付。
   • 因此，你首先需要仔细查阅贷款合同，看是否有关于撤贷及违约金的明确约定。

2. 房屋买卖合同条款：

   • 房屋买卖合同中也可能包含与贷款相关的条款，特别是关于贷款未成功或撤销贷款时的责任分担。
   • 如果房屋买卖合同中规定了因买方原因撤销贷款需要承担的责任，如支付违约金或赔偿损失等，那么你也需要依据该合同承担相应的责任。

3. 实际情况分析：

   • 如果贷款刚下来几天，且尚未完成过户手续，此时撤销贷款可能会涉及到多方面的法律责任和经济损失。
   • 除了合同约定的违约金外，还需要考虑卖方可能因此产生的损失，如重新寻找买家的时间成本、机会成本等。

4. 建议与协商：

   • 在决定撤销贷款前，建议你与卖方及贷款银行进行充分沟通，了解各方意见和可能产生的法律后果。
   • 如果确实需要撤销贷款，应尽快与卖方协商解决方案，尽量减轻双方的损失。

综上所述，是否需要支付违约金取决于具体的合同条款和实际情况。因此，在做出决定前，请务必仔细查阅相关合同并咨询专业意见。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。