针对你描述的情况，如果男人总是赶你走又不想承担责任，这可能涉及到情感关系中的权益保护问题，从法律角度来看，我们可以从以下几个角度进行分析和建议：

1. 情感关系与法律责任的界定：

   • 在一般的情感关系中，如恋爱或同居关系，法律并不直接规定双方必须承担特定的责任或义务，除非这些责任或义务已经通过书面合同或协议明确下来。因此，如果仅从情感关系的角度出发，男人赶你走且不想承担责任，可能并不直接构成法律上的违法行为。
   • 然而，如果这种行为涉及到对人身安全、财产权益的侵害，或者存在欺诈、胁迫等违法行为，那么就可能触犯法律，需要承担相应的法律责任。

2. 可能涉及的法律问题：

   • 人身安全保护：如果男人的行为对你的人身安全构成威胁，如殴打、恐吓等，你可以向公安机关报案，要求保护你的人身安全。根据《中华人民共和国治安管理处罚法》等相关法律法规，公安机关有权对违法行为人进行处罚，并保护你的合法权益。
   • 财产权益保护：如果你们在同居期间有共同的财产，或者男人有侵占、损坏你个人财产的行为，你可以通过法律途径要求返还或赔偿。这可能需要你提供相关的证据，如财产证明、损坏照片等。
   • 欺诈或胁迫行为：如果男人通过欺诈或胁迫的手段迫使你离开，或者在你离开后拒绝承担之前承诺的责任，你可能可以依据《中华人民共和国民法典》中关于欺诈、胁迫的规定，要求撤销相关协议或要求对方承担违约责任。

3. 建议与行动：

   • 收集证据：无论你选择哪种法律途径来维护自己的权益，收集证据都是至关重要的。这包括但不限于聊天记录、录音、视频、照片、财产证明等。
   • 咨询专业律师：虽然我在这里提供了一些基本的法律建议，但每个具体情况都是独特的。因此，我建议你咨询一位专业的律师，他们可以根据你的具体情况提供更详细、更具体的法律建议。
   • 考虑法律途径：如果你认为自己的权益受到了侵害，且无法通过协商解决，你可以考虑通过法律途径来维护自己的权益。这可能包括向法院提起诉讼、申请仲裁等。

最后，我想强调的是，法律是维护社会公平正义和公民权益的重要工具。如果你遇到了类似的问题，不要害怕或逃避，而是应该勇敢地站出来，通过法律途径来维护自己的权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。