面对他人非法入侵住宅且拒不离开的情况，您不能随意限制其人身自由不让其走，但在符合法定条件的情况下，您有权进行正当防卫以制止不法侵害。以下从不同角度为您详细分析：
一、正当防卫的合法性
根据《中华人民共和国刑法》第二十条的规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。在他人非法入侵住宅且拒不离开的情况下，您有权采取必要的防卫措施来制止这种不法侵害。
二、正当防卫的构成要件
- 存在不法侵害：非法侵入住宅本身就是一种不法侵害行为，侵犯了您的住宅安全和人身、财产权利。
- 不法侵害正在进行：防卫行为必须针对正在发生的不法侵害。若侵害人已离开住宅，则不能再以正当防卫为由进行攻击。
- 目的是制止不法侵害：防卫行为的目的必须是为了制止非法侵入，保护自己及家人的安全以及财产安全。
- 针对不法侵害人本人：防卫行为必须针对实施非法侵入的行为人，不得对无辜第三人进行防卫。
- 限度适当：防卫行为不能明显超过必要限度造成重大损害。判断标准应结合具体情况，考虑侵入者的行为性质、防卫人的处境及所使用的防卫手段等因素。
三、特殊情况与注意事项
- 特殊正当防卫：对于正在进行行凶、杀人、抢劫、强奸、绑架以及其他严重危及人身安全的暴力犯罪，采取防卫行为，造成不法侵害人伤亡的，不属于防卫过当，不负刑事责任。但非法入侵住宅通常不属于此类严重暴力犯罪，除非侵入者伴有其他暴力行为。
- 非暴力手段优先：在实施正当防卫时，应优先考虑使用非暴力手段或寻求警方帮助。若必须使用暴力手段，应确保其行为在合理范围内，并尽量避免对侵入者造成不必要的伤害。
- 保留证据：正当防卫是一个复杂的法律问题，其认定通常需要由法院根据具体证据来裁决。因此，在实施防卫行为后，应保留相关证据，如现场照片、视频、证人证言等，以便在法律程序中证明自己行为的正当性。
四、建议与总结
面对非法侵入住宅的情况，您应保持冷静和理智，首先尝试通过和平手段（如报警、协商等）解决问题。若和平手段无效且情况紧急，可考虑在符合法定条件的情况下实施正当防卫。然而，最安全的做法仍然是立即报警并等待警方的到来。在任何情况下，都应尊重法律并遵守其规定，以确保自身行为的合法性和正当性。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。