结论：非法侵占他人责任田修路建围墙且拒不拆除的行为是违法的，可能涉及民事侵权和行政违法，甚至可能构成刑事犯罪。

详细分析：

1. 民事侵权角度：

   • 根据《中华人民共和国民法典》的相关规定，责任田属于农民的承包经营地，是农民的重要财产权益。非法侵占他人责任田，侵犯了农民的土地承包经营权，构成民事侵权。
   • 被侵占方有权要求侵占方停止侵害、恢复原状、赔偿损失等。如果侵占方拒不拆除修路建的围墙，被侵占方可以通过法律途径，如提起民事诉讼，来维护自己的合法权益。

2. 行政违法角度：

   • 非法侵占土地进行建设，还可能违反《中华人民共和国土地管理法》的相关规定。该法明确禁止未经批准或者采取欺骗手段骗取批准，非法占用土地的行为。
   • 对于此类违法行为，土地管理部门有权进行查处，包括责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状，并可以处以罚款等行政处罚。

3. 刑事犯罪角度：

   • 在极端情况下，如果非法侵占土地的行为情节严重，如侵占土地面积较大、造成严重后果等，还可能构成《中华人民共和国刑法》中的非法占用农用地罪。
   • 根据该罪的规定，违反土地管理法规，非法占用耕地、林地等农用地，改变被占用土地用途，数量较大，造成耕地、林地等农用地大量毁坏的，处五年以下有期徒刑或者拘役，并处或者单处罚金。

法律建议：

• 如果您是责任田的合法承包人，且发现有人非法侵占您的责任田修路建围墙，建议您首先与侵占方进行协商，要求其停止侵害并恢复原状。
• 如果协商无果，您可以向当地的土地管理部门或者乡（镇）人民政府进行投诉，请求他们进行查处。
• 同时，您也可以考虑通过法律途径，如提起民事诉讼或者刑事自诉（如果构成刑事犯罪的话），来维护自己的合法权益。

后续行动：

• 在采取任何行动之前，建议您先收集好相关证据，如土地承包合同、现场照片、视频等，以便在需要时提供证明。
• 如果您对法律程序不熟悉或者担心自己的权益无法得到充分保障，可以随时向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。