卖房时想要取消委托协议，首先需要明确的是，根据我国《民法典》的相关规定，委托人或者受托人都有权随时解除委托合同。这意味着，无论是有偿还是无偿的委托合同，也无论合同是否定有期限，或者委托事务的处理进行到了哪个阶段，你都有权撤销这份委托合同。
在决定撤销委托协议之前，建议你先与受托方进行充分的沟通，明确双方的权利和义务，以及撤销协议可能带来的后果。如果双方能够协商一致，那么撤销协议的过程将会更加顺利。
在撤销委托协议时，你需要注意以下几点：
赔偿损失：如果因撤销协议给对方造成了损失，除了不可归责于你的事由外，你可能需要赔偿对方的直接损失。对于有偿委托合同，你还可能需要赔偿合同履行后对方可以获得的利益。
书面通知：虽然口头通知也可以表达撤销的意愿，但为了避免后续的纠纷，建议你以书面形式正式通知受托方，明确撤销协议的时间和理由。
保留证据：在撤销协议的过程中，务必保留好与受托方的沟通记录、书面通知等证据，以备不时之需。
遵守法律法规：在撤销委托协议时，你需要遵守相关的法律法规，确保你的行为合法合规。
综上所述，卖房时取消委托协议是你的合法权利，但在行使这一权利时，你需要谨慎处理，确保不会给对方造成不必要的损失，并遵守相关的法律法规。如果你对撤销协议的具体操作有任何疑问或担忧，建议咨询专业的法律人士以获取更详细的指导。