结论：私自拆除不合法围墙且影响家人出入的行为，可能涉及违法，具体处理方式需根据围墙性质、拆除行为合法性及后果来综合判断。
一、关于围墙合法性的判断
若围墙确属违法建筑：
- 根据《城乡规划法》等相关法律法规，违法建筑是指未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的建筑物、构筑物。若该围墙未经规划许可或违反规划要求建设，则属于违法建筑。
- 拆除违法建筑的权利：虽然围墙是违法的，但并不意味着任何人都有权私自拆除。通常，拆除违法建筑应由相关行政机关（如城市管理综合执法部门）依法进行。私自拆除可能构成对他人财产权的侵犯，尤其是当围墙虽违法但属于他人所有时。
若围墙合法但影响通行：
- 如果围墙是合法建设的，但确实影响了您家人的正常出入，您应首先尝试与围墙所有者或管理者协商解决，如调整围墙位置、开设通道等。
- 协商无果的处理：若协商无果，您可以向相关部门（如城市规划部门、社区居委会等）反映情况，寻求行政调解或行政处理。在极端情况下，若围墙的建设违反了关于相邻关系的法律规定（如《民法典》中关于相邻权的规定），您还可以考虑通过法律途径解决，如提起相邻权纠纷诉讼。
二、关于私自拆除行为的合法性
私自拆除的违法性：
- 无论围墙是否合法，私自拆除他人财产（包括违法建筑）都可能构成侵权行为，需要承担相应的民事责任，如赔偿损失等。
- 特殊情况：在紧急情况下，如围墙倒塌威胁到您或您家人的生命安全，您可能享有紧急避险权，可以采取必要的措施防止损害的发生或扩大。但即便如此，事后也应尽快向相关部门报告并说明情况。
可能面临的法律后果：
- 民事责任：若私自拆除行为被认定为侵权，您可能需要赔偿围墙所有者的损失，包括围墙的重建费用、因拆除导致的其他财产损失等。
- 行政责任：若您的行为违反了相关行政法规（如《治安管理处罚法》中关于故意损毁公私财物的规定），您还可能面临行政处罚，如罚款、拘留等。
- 刑事责任：在极端情况下，若您的行为构成犯罪（如故意毁坏财物罪），您还可能面临刑事追究。
三、建议的处理方式
与围墙所有者或管理者协商：
- 尝试通过友好协商解决问题，如调整围墙位置、开设临时通道等。
向相关部门反映情况：
- 若协商无果，您可以向城市规划部门、社区居委会等相关部门反映情况，寻求行政调解或行政处理。
寻求法律帮助：
- 若问题复杂或涉及法律纠纷，建议您咨询专业律师（即我本人，刘彬律师，专注于取保候审、债权债务、侵权纠纷等领域），通过法律途径维护您的合法权益。
保留证据：
- 在处理过程中，务必保留好相关证据，如照片、视频、协商记录等，以备不时之需。
总结：私自拆除不合法围墙且影响家人出入的行为可能涉及违法。在处理此类问题时，建议您首先判断围墙的合法性，然后尝试通过协商、行政调解或法律途径解决问题。如有需要，请随时向我咨询。