结论：是否算违约需分情况讨论，主要取决于贷款合同中关于“不贷”情形的具体约定以及中介扣款行为的合法性。以下从不同角度为您详细分析：
一、合同约定角度
合同中有明确约定：
- 如果贷款合同中明确规定了，在特定条件下（如您主动放弃贷款）您需承担违约责任，且该条款不违反法律、行政法规的强制性规定，也不违背公序良俗，那么您单方面不贷可能构成违约。此时，中介扣款若符合合同约定的违约责任承担方式（如扣除一定比例的违约金），则可能被视为合法行为。
- 示例：合同中约定“若借款人单方面放弃贷款，需向中介支付贷款金额5%的违约金”，且您已签字确认，那么您不贷时，中介按此约定扣款可能合法。
合同中无明确约定：
- 如果合同中没有明确规定您不贷时需承担违约责任，或者约定不明确，那么您单方面不贷通常不构成违约。此时，中介无权擅自扣款，否则可能构成侵权或违约（如果中介扣款行为违反了其与您之间的其他约定）。
二、中介扣款行为合法性角度
中介扣款有合法依据：
- 除了合同约定外，如果中介扣款行为有法律、行政法规的明确规定作为依据（如某些特定情况下的法定违约金），且该规定不违反上位法，那么中介扣款可能合法。但这种情况在贷款合同纠纷中较为罕见。
中介扣款无合法依据：
- 如果中介扣款行为既无合同约定，也无法律、行政法规的明确规定作为依据，那么该行为可能构成侵权或违约。您有权要求中介返还被扣款项，并可能根据实际情况主张赔偿损失。
三、实际操作建议
审查合同条款：
- 首先，仔细审查您与中介签订的贷款合同，特别是关于违约责任和扣款方式的条款。明确合同中是否有关于您不贷时需承担违约责任的约定，以及中介扣款的具体条件和方式。
与中介协商：
- 如果合同中有不利于您的条款，或者您对中介的扣款行为有异议，建议与中介进行协商。尝试通过友好沟通解决争议，避免不必要的法律纠纷。
寻求法律帮助：
- 如果协商无果，或者您认为中介的扣款行为严重侵犯了您的合法权益，可以寻求法律帮助。您可以向我咨询具体法律问题，或者根据实际情况考虑向法院提起诉讼或申请仲裁。
最后，贷款合同纠纷往往涉及复杂的法律关系和条款解释，建议您在处理此类问题时保持谨慎态度。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。