结论：房屋所有权人（产权人）在一般情况下不能随意赶走居住权人，除非存在特定的法定情形或合同约定。
一、居住权的法律性质与设立
居住权是一种特殊的用益物权，它赋予居住权人长期或永久居住于特定房屋的权利。根据《中华人民共和国民法典》的相关规定，居住权的设立需通过书面合同，并向登记机构申请居住权登记，自登记时起居住权生效。这意味着，一旦居住权依法设立，居住权人就拥有了在该房屋内居住的权利，且这种权利受到法律的保护。
二、产权人的权利与限制
虽然产权人对房屋享有占有、使用、收益和处分的权利，但这些权利在居住权有效期内受到居住权的限制。产权人不得随意侵犯居住权人的合法权益，包括不得无故赶走居住权人。居住权的设立，实际上是对产权人处分权的一种限制，以确保居住权人的居住权益得到保障。
三、居住权消灭的法定情形
居住权并非绝对不可消灭，但在以下法定情形出现时，居住权才会消灭：
居住权期限届满：如果居住权合同中明确规定了居住权的期限，那么期限届满时，居住权自然消灭。
居住权人死亡：居住权具有人身属性，居住权人的死亡将导致居住权的自动消灭。
居住权设立瑕疵：若居住权设立未采用书面形式或未登记，产权人可申请认定居住权无效，从而消灭居住权。但这种情况较为特殊，且需要严格的法律程序和证据支持。
居住权人违约：如果居住权人违反了合同中关于居住用途、转租等关键条款的约定，且达到解除合同的程度，产权人可以通过法律程序解除居住权合同，从而消灭居住权。
四、产权人救济途径
在居住权有效期内，如果产权人希望赶走居住权人，必须通过合法途径进行。这包括：
协商解除：产权人可以与居住权人协商，尝试达成解除居住权的协议。如果双方能够达成一致，那么居住权可以依法消灭。
诉讼解除：如果协商无果，产权人可以向人民法院提起诉讼，请求法院解除居住权合同。但在此过程中，产权人需要提供充分的证据证明居住权人存在违约行为或其他法定解除情形。
五、实际操作建议
明确约定：在设立居住权时，产权人和居住权人应在合同中明确居住权的期限、条件、违约责任等条款，以避免未来可能出现的纠纷。
依法登记：居住权的设立必须依法进行登记，以确保居住权的合法性和有效性。未登记的居住权可能无法得到法律的保护。
保留证据：在居住权存续期间，双方都应保留好相关证据，如合同、付款凭证、沟通记录等，以备不时之需。
寻求法律帮助：如果双方发生纠纷或争议，且无法通过协商解决，建议及时寻求法律帮助，通过法律途径维护自己的合法权益。
六、特殊情况分析
共有产权房屋：如果房屋为共有产权，那么共有产权人之间应协商一致后再设立居住权。在居住权存续期间，任何共有产权人都不得擅自赶走居住权人，除非符合法定的居住权消灭情形或通过法律程序解决争议。
遗嘱设立居住权：如果居住权是通过遗嘱设立的，那么遗嘱执行后，居住权人即获得居住权。在此情况下，产权人（如遗嘱执行人或继承人）同样不得随意赶走居住权人，除非居住权消灭或通过法律程序解除。
总结：房屋所有权人在一般情况下不能随意赶走居住权人。居住权的设立、行使及消灭均受法律严格保护。如果产权人希望赶走居住权人，必须通过合法途径进行，并符合法定的居住权消灭情形或合同约定。在实际操作中，建议双方明确约定、依法登记、保留证据，并在发生纠纷时及时寻求法律帮助。