结论是：离婚后，如果您不是过错方，警察一般不会直接“赶您走”，但具体是否需要搬离住所，需根据房屋产权归属、离婚协议或判决以及实际情况来综合判断。以下从不同角度为您详细分析：

一、房屋产权归属是关键

1. 房屋属于您个人所有：

   • 如果房屋是您的婚前个人财产，或者婚后通过继承、赠与等方式明确只归您所有，那么您有权继续居住在该房屋内，警察无权要求您搬离。

2. 房屋属于夫妻共同所有：

   • 如果房屋是夫妻共同财产，离婚后，房屋的归属或使用权可能需要根据离婚协议或法院判决来确定。
   • 如果离婚协议或判决中明确房屋归您所有或您有居住权，那么您当然可以继续居住。
   • 如果房屋归对方所有或对方有居住权，而您没有其他住所或特殊情况（如需要照顾子女等），您可以与对方协商暂时居住或寻求法律帮助，警察一般不会直接介入要求您搬离。

二、离婚协议或判决的约束力

• 离婚协议或法院判决是双方或法院对离婚后财产分割、子女抚养等问题的明确约定或裁决，具有法律约束力。
• 如果离婚协议或判决中未涉及房屋居住问题，或者约定不明确，双方可以协商解决。协商不成的，可以寻求法律帮助，通过诉讼等方式解决争议。

三、警察的职责与权限

• 警察的主要职责是维护社会治安和打击犯罪，他们一般不会直接介入民事纠纷，如离婚后的房屋居住问题。
• 如果存在家庭暴力、非法侵入等违法行为，警察会依法处理，但这与您是否离婚、是否为过错方无直接关系。

四、特殊情况下的处理

• 如果您因离婚而面临无家可归等特殊情况，您可以向当地民政部门、妇联等组织寻求帮助，他们可能会提供临时住所或其他援助。
• 如果您认为对方的行为侵犯了您的合法权益，如非法侵入您的住所等，您可以向法院提起诉讼，要求对方停止侵害并赔偿损失。

建议：

• 在处理离婚后的房屋居住问题时，建议您先查看离婚协议或法院判决中关于房屋归属或使用权的约定。
• 如果存在争议或不明确的地方，您可以与对方协商解决，或者寻求法律帮助，通过诉讼等方式维护自己的合法权益。
• 在任何情况下，都不要采取过激行为或违法手段来解决问题，以免给自己带来不必要的麻烦和法律责任。

如果您在处理离婚后的房屋居住问题或其他婚姻家庭法律问题上有任何疑问或需要进一步的帮助，请随时向我咨询。