针对您被中介忽悠签了委托书的情况，以下是一些详细的建议和解决方案：

一、了解委托代理的法律性质

首先，要明确委托代理是建立在双方自愿和信任基础上的法律关系。如果这种自愿和信任的关系不再存在，您作为委托人有权随时解除委托关系。根据《中华人民共和国民法典》的相关规定，委托人可以随时解除委托合同，无需与对方（即受托人或中介）达成一致意见。

二、书面通知解除委托

为了确保您的解除行为具有法律效力，建议您以书面形式通知中介解除委托关系。这份通知书应当明确表达您的解除意愿，并送达给中介。一旦通知书送达，委托关系即告终止。在通知中，您可以简要说明解除的原因，但这不是必须的，因为您有权随时解除委托，无需给出具体理由。

三、处理可能涉及的违约责任

如果委托书中包含了对解除委托的限制条款（如“独家委托期内，不得擅自取消该项委托”等），这些条款在法律上可能是无效的。因为委托合同的基本属性之一就是允许当事人随时行使任意解除权，这种权利不得由当事人约定限制。因此，中介公司不能依据此类条款要求您承担违约责任。

然而，如果解除委托给中介造成了直接损失（如带看劳务费、宣传广告制作费等），您可能需要承担相应的赔偿责任。但赔偿范围通常仅限于中介的直接支出，不包括其可预期的利益。

四、警惕中介的欺诈行为

如果您认为中介在签署委托书的过程中存在欺诈行为（如故意隐瞒重要信息、误导您签署等），您有权向人民法院或仲裁机构提出撤销该委托合同的请求。根据《民法典》的相关规定，因欺诈手段实施的民事法律行为，受欺诈方有权请求撤销。一旦合同被撤销，从开始即视为无效，您无需承担任何违约责任。

五、保存证据并寻求法律帮助

在整个过程中，建议您保存好所有与中介的沟通记录、委托书副本、通知书送达证明等相关证据。这些证据在后续可能出现的纠纷中将起到关键作用。如果您对法律程序不熟悉或担心自己的权益无法得到充分保障，可以寻求专业律师的帮助。

六、关注政府政策与行业规范

此外，您还可以关注政府对于房地产市场的相关政策与行业规范。根据住建部等七部委联合印发的通知，政府明确要重点整治的房地产市场违规行为包括“垄断房源”等。如果中介的委托协议中存在此类违规条款，您更有理由解除委托关系并维护自己的合法权益。

综上所述，面对被中介忽悠签了委托书的情况，您应当保持冷静并积极采取措施维护自己的合法权益。通过书面通知解除委托、处理可能涉及的违约责任、警惕中介的欺诈行为、保存证据并寻求法律帮助以及关注政府政策与行业规范等步骤，您可以有效地解决这一问题。