结论：异地警方在男人吸毒的情况下，通常没有直接权利赶其家属走。但需根据具体情况，结合相关法律法规和执法程序来综合判断。
分析说明：
吸毒行为的法律性质：
- 吸毒是违法行为，根据《中华人民共和国治安管理处罚法》的相关规定，吸毒者可能会受到行政处罚，如拘留、罚款等。然而，这一法律条款主要针对的是吸毒者本人，并未直接涉及吸毒者的家属。
警方的执法权限：
- 警方在执法过程中，必须严格遵守法律法规，不得超越法定权限。对于吸毒者的家属，除非他们直接参与了吸毒活动或存在其他违法行为，否则警方通常没有直接权利对他们采取强制措施，如赶走等。
- 如果吸毒行为发生在特定场所（如家庭住所），且该场所被用于吸毒活动，警方在依法进行查处时，可能会要求在场人员配合调查。但这并不等同于警方有权直接赶走家属，而是需要依法进行询问、取证等程序。
家属的合法权益：
- 家属作为公民，享有合法的居住权和隐私权等。除非存在法定情形（如家属直接参与犯罪活动、妨碍执法等），否则警方不得随意侵犯这些权益。
- 如果警方在执法过程中侵犯了家属的合法权益，家属有权依法维护自己的权益，如向相关部门投诉、申请行政复议或提起行政诉讼等。
特殊情况下的处理：
- 在某些特殊情况下，如吸毒者在家中制造毒品或进行其他严重违法犯罪活动，且该活动对家属的安全构成威胁时，警方可能会根据相关法律法规和执法程序，采取必要的措施来保护家属的安全。但这并不等同于警方有权直接赶走家属，而是需要依法进行处置，并确保家属的合法权益不受侵犯。
建议与行动：
- 如果您或您的家人遇到类似情况，建议保持冷静，配合警方的调查工作，但同时也要注意保护自己的合法权益。
- 如果您认为警方的执法行为存在不当之处，可以及时向相关部门投诉或寻求法律援助。
- 在任何情况下，都不要试图阻碍警方的执法工作，以免给自己带来不必要的法律麻烦。
后续思考：
- 吸毒问题是一个复杂的社会问题，需要政府、社会和家庭共同努力来解决。作为家属，应该积极引导吸毒者接受治疗和康复，帮助他们重新融入社会。
- 同时，我们也应该加强法律法规的宣传和教育，提高公众对吸毒问题的认识和警惕性，共同营造一个健康、和谐的社会环境。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。