核心结论：您与中介的解约纠纷，需根据合同条款和法律规定判断解约权行使是否合法。若解约合法但中介拒绝，可通过协商、投诉或诉讼解决；若解约不合法，则需承担违约责任。以下是具体分析：

一、解约合法性判断：合同条款是关键

1. 合同是否约定解约条件
   若合同中明确约定了单方解约权（如提前30天书面通知、支付违约金等），您可按约定行使权利。此时中介无权拒绝，若其扣押房屋或拒退押金，可要求其承担违约责任。

2. 中介是否存在根本违约
   若中介存在以下行为，您可依据《民法典》第563条主张法定解约权：

   • 未按约定支付租金；
     
   • 擅自改变房屋结构或用途；
     
   • 长期空置导致您损失；
     
   • 其他严重违反合同义务的行为。
     建议：收集证据（如聊天记录、照片、租金支付记录等），书面通知中介解约并要求限期交还房屋。

二、解约不合法时的处理：违约责任需承担

若合同未约定解约权，且中介无过错，您单方解约可能构成违约，需承担：

1. 支付违约金：按合同约定金额赔偿；
   
2. 赔偿实际损失：如中介因解约产生的再出租空置期损失、中介费损失等。
   建议：与中介协商降低赔偿金额，或通过第三方调解（如街道办、房管部门）减少冲突。

三、中介拒绝解约的应对策略

1. 协商解决
   书面列出解约理由和依据，要求中介限期回复。若中介提出不合理条件（如高额赔偿），可明确拒绝并保留证据。

2. 投诉举报
   若中介存在违规行为（如未备案、扣押证件等），可向当地房管部门或12345热线投诉，借助行政力量督促其配合。

3. 诉讼或仲裁
   若协商、投诉无果，可向法院起诉或按合同约定申请仲裁，要求确认解约效力并强制中介交还房屋。
   注意：诉讼周期较长，需提前评估时间成本。

四、风险提示：避免激化矛盾

1. 勿强行收房：若中介仍占有房屋，切勿自行换锁或驱赶租客，否则可能涉嫌侵权。
   
2. 租客权益优先：若房屋已出租给第三方，需先与租客协商解除租赁合同，避免引发连环纠纷。

行动建议：

1. 立即整理合同、沟通记录等证据；
   
2. 根据合同条款和中介行为，判断解约合法性；
   
3. 优先通过书面协商或投诉解决，必要时启动法律程序。
   

如有进一步细节（如合同具体条款、中介违约行为等），可随时补充说明，我会为您制定更具体的应对方案。