核心结论：若买卖双方已同意解除合同，但中介声称违约，需分情况判断责任归属及应对方式，具体如下：

1. 若合同解除系双方协商一致且无违约条款触发
   若买卖双方通过协商一致解除合同，且合同中未约定“协商解除需支付违约金”或类似条款，则中介无权主张违约责任。此时可要求中介提供违约依据（如合同条款、法律规定），若其无法提供，可明确拒绝支付违约金。
   法律依据：根据《民法典》第562条，当事人协商一致可解除合同，无需承担违约责任，除非合同另有约定。

2. 若合同解除因一方违约导致，但双方已达成和解
   若合同解除系因一方违约（如买方未按时付款、卖方未按时交房），但双方已通过协商达成和解（如放弃追究违约责任、调整交易条件等），且和解内容已写入解除协议，则中介无权单方主张违约。此时需确保解除协议中明确“双方互不追究违约责任”或类似表述。
   法律依据：根据《民法典》第557条，债权债务终止后，当事人应遵循诚信原则履行附随义务，中介无权突破双方约定。

3. 若中介以“促成合同”为由主张中介费或违约金
   若中介主张的是其应得的中介费（而非买卖双方的违约金），需区分情况：

   • 若合同已部分履行（如买方支付定金、卖方配合看房），中介可能根据《民法典》第963条主张按比例支付中介费；
     
   • 若合同未履行且解除系因买卖双方原因，中介可能无法主张全额中介费，但需结合具体合同条款判断。
     建议：要求中介提供中介费计算依据及合同条款，若其主张不合理，可拒绝支付或协商减免。

4. 若中介恶意主张违约或存在欺诈行为
   若中介虚构违约事实、伪造证据或以威胁方式索要费用，可能涉嫌欺诈或敲诈勒索。此时可收集证据（如聊天记录、录音、合同文本）向当地房管部门投诉或直接报警。
   法律依据：根据《刑法》第274条，敲诈勒索公私财物数额较大或多次敲诈的，可处三年以下有期徒刑；根据《房地产经纪管理办法》，中介不得以隐瞒、欺诈等手段牟取不正当利益。

行动建议：

1. 立即审查原合同及解除协议，明确解除原因、责任划分及中介费条款；
   
2. 要求中介书面说明违约主张的依据（如合同条款、法律规定）；
   
3. 若协商无果，可向当地房管部门申请调解或直接向法院起诉；
   
4. 保留所有沟通记录、合同文本及付款凭证作为证据。
   

如有进一步疑问，可直接向我咨询，我会结合具体合同条款为您详细分析。