核心结论：要解除与贷款中介的合同且不赔违约金，关键在于审查合同条款、寻找中介违约情形或协商一致解除，以下分情况详细说明：
- 审查合同条款
- 查看违约金约定：仔细研读与贷款中介签订的合同，重点关注关于违约金的条款。有些合同中可能存在不合理的违约金约定，比如违约金数额过高。根据法律规定，如果约定的违约金过分高于造成的损失（一般超过造成损失的百分之三十的，可以认定为“过分高于”），当事人可以请求人民法院或者仲裁机构予以适当减少。所以，若合同中违约金约定过高，即便你违约解除合同，也不一定需要按照合同约定全额赔偿。
- 寻找合同解除条款：合同中可能存在约定解除权的条款，例如在一定条件下，一方可以单方面解除合同且无需承担违约责任。比如合同约定，若中介在规定时间内未能为你成功办理贷款，你有权解除合同且无需支付违约金。如果符合合同约定的解除条件，你就可以依据该条款解除合同，避免赔偿违约金。
- 寻找中介违约情形
- 中介未履行主要义务：如果贷款中介没有按照合同约定履行其主要义务，比如没有按照承诺为你寻找合适的贷款渠道、没有及时提交贷款申请资料等，导致你无法获得贷款或者贷款进程严重受阻，这属于中介违约。在这种情况下，你有权解除合同，并且根据法律规定，因对方违约导致合同解除的，你无需支付违约金，还可以要求中介承担相应的违约责任，如赔偿你因此遭受的损失。
- 中介存在欺诈行为：若中介在签订合同过程中存在欺诈行为，例如虚构贷款信息、隐瞒重要事实等，使你在违背真实意思的情况下签订了合同。根据法律规定，因欺诈订立的合同，受欺诈方有权请求人民法院或者仲裁机构撤销该合同。合同被撤销后，自始没有法律约束力，你自然也无需支付违约金。
- 协商一致解除合同
- 与中介友好沟通：你可以主动与贷款中介进行沟通，说明你希望解除合同的原因，争取与中介达成一致意见。在协商过程中，你可以强调解除合同对双方的影响，提出合理的解决方案，比如双方互不追究违约责任，和平解除合同。如果中介同意你的提议，那么你们可以签订解除合同的协议，明确双方的权利义务，这样你就可以避免支付违约金。
在处理与贷款中介解除合同的问题时，要注意保留好相关的证据，如合同、沟通记录、中介违约的证据等，以便在需要时维护自己的合法权益。如果你在处理过程中遇到任何疑问或困难，都可以直接向我咨询。