结论：是否需要赔偿违约金，取决于合同中的具体约定以及您不想继续履行合同的原因。以下从不同角度为您详细分析：
一、合同中有明确违约金条款的情况
若您单方面违约：
- 如果合同中明确规定了，在买方或卖方单方面不想继续履行合同时需要支付违约金，且您的情况符合该条款的触发条件（例如，您无正当理由拒绝交货或接收货物），那么根据合同的约定，您可能需要支付违约金。
- 法律依据：根据《中华人民共和国民法典》的相关规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
若存在免责事由：
- 如果您不想继续履行合同是由于不可抗力（如自然灾害、政府行为等）或其他合同中约定的免责事由导致的，那么您可能不需要支付违约金。但需要您提供充分的证据来证明免责事由的存在。
二、合同中没有明确违约金条款的情况
若您单方面违约：
- 如果合同中没有明确规定违约金，但您的行为确实构成了违约，对方可能会要求您赔偿因违约造成的实际损失。这种情况下，赔偿的金额将取决于对方因您的违约行为而遭受的实际损失，包括直接损失和间接损失。
- 法律依据：同样根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
协商与诉讼：
- 在没有明确违约金条款的情况下，双方可以通过协商来解决争议。如果协商不成，对方可能会选择通过法律途径来维护自己的权益，即向法院提起诉讼要求您赔偿损失。
三、特殊情况：中介敛货款的法律责任
- 如果中介在敛货款的过程中存在违法行为（如诈骗、挪用资金等），这可能构成另一个法律关系，与您和合同相对方之间的合同纠纷是分开的。在这种情况下，您可能需要考虑向公安机关报案，并寻求法律援助来维护自己的权益。
- 同时，如果中介的行为导致了合同无法履行或给您造成了损失，您也可以在合同纠纷中向合同相对方主张权利，但具体责任划分需要根据实际情况和合同约定来确定。
建议
- 仔细审查合同：首先，您需要仔细审查合同中的条款，特别是关于违约责任和免责事由的部分，以确定自己的权利和义务。
- 收集证据：如果您认为存在免责事由或对方存在过错，您需要收集充分的证据来支持自己的主张。
- 协商与调解：在可能的情况下，尝试与对方进行协商或寻求第三方调解来解决问题，以避免不必要的法律纠纷。
- 寻求法律援助：如果您无法自行解决问题或对方坚持要求您支付违约金或赔偿损失，建议您寻求专业的法律援助来维护自己的权益。
如果您有任何进一步的疑问或需要更具体的法律建议，请直接向我咨询。