结论：是否需要赔偿违约金，主要取决于委托书中的具体条款以及您不想继续贷款的原因。若委托书中明确规定了违约责任，且您不想贷款的原因不构成合法抗辩，则您可能需要按照委托书中的约定支付违约金。

一、委托书中的条款是关键

1. 违约责任条款：首先，需要仔细审查您与中介签订的委托书，看其中是否明确规定了违约责任，包括违约金的数额或计算方式。如果委托书中明确规定了因您单方面解除委托（即不想贷款）需要支付违约金，那么从合同法的角度来看，您可能需要承担这一责任。

2. 合同解除条件：同时，也要查看委托书中是否规定了合同解除的条件。如果存在合法且合理的解除条件，并且您的情况符合这些条件，那么您可能不需要支付违约金。

二、不想贷款的原因分析

1. 合法抗辩事由：如果您不想贷款的原因是基于合法抗辩事由，如中介存在欺诈、胁迫等行为，或者贷款条件与之前承诺的不符等，那么您可能不需要支付违约金，甚至有权要求中介承担违约责任。

2. 个人原因：如果您只是因为个人原因（如改变主意、资金问题等）不想继续贷款，且这些原因并不构成合法抗辩事由，那么根据委托书的约定，您可能需要支付违约金。

三、法律建议

1. 审查委托书：建议您首先仔细审查与中介签订的委托书，明确其中的违约责任条款和合同解除条件。

2. 与中介协商：如果您不想继续贷款，可以尝试与中介进行协商，看是否可以达成一致意见，避免不必要的法律纠纷。

3. 寻求法律帮助：如果您对委托书中的条款存在疑问，或者与中介的协商未能达成一致意见，建议您寻求专业的法律帮助。我可以根据您的具体情况，为您提供更详细的法律建议和解决方案。

四、可能的法律后果

1. 支付违约金：如果您需要按照委托书的约定支付违约金，那么您应当及时履行这一义务，以避免可能的法律纠纷和额外的经济损失。

2. 法律纠纷：如果您拒绝支付违约金，且中介认为您应当承担这一责任，那么中介可能会通过法律途径来维护自己的权益，这将导致您陷入法律纠纷之中。

最后，是否需要赔偿违约金取决于多种因素，包括委托书中的条款、您不想贷款的原因以及可能的法律后果等。因此，我建议您在做出任何决定之前，先仔细审查委托书并寻求专业的法律帮助。如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。