结论概述：
- 若围墙属于合法建筑：若不拆除，对方无权强制拆除，但可能引发邻里纠纷或需要通过法律途径解决通行问题。
- 若围墙属于违法建筑或影响公共利益：可能面临行政机关的强制拆除决定，不配合可能产生法律后果。
详细分析：
一、围墙属于合法建筑的情况
产权与合法性：
- 如果围墙是您合法拥有产权的建筑，且其建设符合当地的规划、建设等相关法律法规，那么您有权拒绝对方的拆除要求。
邻里关系与协商：
- 尽管您有权拒绝，但邻里之间应尽量通过友好协商解决通行问题。如果对方确实需要通行，您可以考虑在围墙上开设门洞、设置通道等方式，既满足对方需求，又保护您的合法权益。
- 若协商无果，对方可能通过法律途径（如提起相邻权诉讼）要求解决通行问题。在此情况下，法院将根据具体情况判决是否需要拆除围墙或采取其他措施。
法律后果：
- 若对方未经您同意擅自拆除围墙，将构成侵权行为，您有权要求对方恢复原状、赔偿损失等。
二、围墙属于违法建筑或影响公共利益的情况
违法建筑的认定：
- 如果围墙的建设违反了当地的规划、建设等相关法律法规，如未取得建设许可证、超出规划范围等，那么该围墙可能被认定为违法建筑。
行政机关的介入：
- 对于违法建筑，行政机关（如城管、规划等部门）有权依法进行查处，包括责令限期拆除、强制拆除等。
- 如果行政机关作出强制拆除决定，您应当配合执行。若不配合，行政机关可能采取强制措施，如强制拆除围墙，并可能对您处以罚款等行政处罚。
影响公共利益的情况：
- 如果围墙的建设影响了公共利益，如阻碍消防通道、影响城市排水等，那么即使围墙是合法建设的，也可能面临被拆除的风险。
- 在此情况下，行政机关或相关利益方可能通过法律途径要求拆除围墙，以恢复公共利益。
建议与行动指南：
- 核实围墙合法性：首先确认围墙的建设是否符合当地法律法规，是否取得相关许可。
- 友好协商：与对方进行友好协商，寻求双方都能接受的解决方案。
- 咨询专业意见：如协商无果或面临法律纠纷，建议及时咨询专业律师，了解自身权益和应对策略。
- 配合行政机关：若围墙被认定为违法建筑或影响公共利益，应配合行政机关的查处工作，避免产生不必要的法律后果。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。