在婚姻关系存续期间，男方通常不可以随意赶走女方。这是因为婚姻关系为夫妻双方提供了一定的权益保障，女方在婚姻中有居住等相关权益。以下是对这一问题的详细分析：

1. 居住权益：

   • 夫妻双方对共同所有的房屋等住所享有平等的居住权益。婚姻关系赋予双方在共同生活空间中的平等地位，任何一方都不能擅自剥夺另一方的居住权利。

2. 侵权风险：

   • 若男方强行赶走女方，这种行为可能侵犯女方的合法权益。女方有权维护自身权益，比如通过协商解决，要求男方停止不合理行为。
   • 若协商无果，女方可以寻求居委会、妇联等相关机构的调解帮助。
   • 在法律层面，如果女方因被男方赶走而面临无家可归等困境，女方可以向法院提起诉讼，要求确认其居住权。法院会根据具体情况，综合判定女方是否享有居住权以及男方赶走女方的行为是否合法合理，并依法作出相应判决。

3. 特殊情形：

   • 当然，如果存在特殊情形，如女方存在严重过错导致夫妻关系极度恶化，且经法院判定等合理情形下，可能会出现调整居住安排等情况。但这需通过合法的司法程序来确定，而不是男方单方面可以决定的。

综上所述，未离婚时男方赶走女方的行为大多缺乏法律依据。夫妻双方应当遵循法律规定和夫妻间的平等协商原则来处理婚姻关系中的相关问题，以保障双方合法权益。若发生争议，可通过合法途径，如协商、调解或诉讼等方式解决。