结论：在一般情况下，您作为父母并没有法律上的权力直接“赶儿子走”，除非存在特定的法律情形。以下是对这一问题的详细分析：
一、家庭关系与居住权
家庭关系基础：
- 家庭成员之间，特别是父母与子女之间，存在着基于血缘或法律关系的紧密联系。这种关系通常伴随着相互的扶养、照顾和居住在一起的义务与权利。
居住权：
- 在家庭关系中，子女通常有权在父母的住所居住，这是基于家庭关系和亲情的一种自然权利。除非有特定的法律约定或法院判决，否则父母不能随意剥夺子女的这一权利。
二、特定法律情形下的例外
子女成年且具备独立生活能力：
- 如果子女已经成年，并且具备独立生活的能力，那么父母与子女之间的居住关系可能不再像未成年时那样紧密。然而，这并不意味着父母可以随意“赶儿子走”。如果双方能够协商一致，子女可以选择搬离；但如果协商不成，父母通常不能单方面强制子女离开。
存在家庭暴力或虐待：
- 如果家庭中存在暴力或虐待行为，受害者（包括子女）有权向法院申请保护令或寻求其他法律救济。在这种情况下，法院可能会判决加害者（如父母中的一方）离开住所，以保护受害者的安全。但这并不适用于您作为父母想要“赶儿子走”的情况。
房屋产权与居住权分离：
- 如果房屋的产权属于父母，但子女基于某种原因（如租赁、借用等）获得了居住权，那么父母在想要收回房屋时，需要遵循相关的法律程序。例如，如果子女是通过租赁方式获得居住权，父母需要提前通知并按照租赁合同的约定处理；如果子女没有合法的居住权，父母则可以通过法律途径要求其离开。
三、法律建议
沟通协商：
- 如果您与儿子之间存在居住方面的矛盾，首先建议通过沟通协商来解决。双方可以坦诚地表达自己的想法和需求，寻求一个双方都能接受的解决方案。
寻求法律帮助：
- 如果沟通协商无果，且您认为自己的权益受到了侵害，可以寻求法律帮助。您可以咨询专业的律师，了解自己的法律权利和义务，以及如何通过法律途径来解决问题。
尊重法律与亲情：
- 在处理家庭关系时，既要尊重法律的规定，也要珍惜亲情。尽量避免采取过激或违法的行为来解决问题，以免对家庭关系造成不可挽回的损害。
总结：在一般情况下，您作为父母并没有法律上的权力直接“赶儿子走”。如果双方存在居住方面的矛盾，建议通过沟通协商来解决；如果协商无果，可以寻求法律帮助。同时，也要尊重法律与亲情，避免采取过激或违法的行为。如果您有任何具体的法律问题或需要进一步的法律建议，请随时向我咨询。