自家围墙被邻里随意搭建是违法的。具体分析如下：

1. 侵犯土地使用权：

   • 自家围墙内的土地属于你的宅基地范围，你享有合法的使用权。邻里随意在你的围墙内进行搭建，侵犯了你的土地使用权，这是违法的。

2. 违反相邻关系规定：

   • 根据《中华人民共和国民法典》中关于相邻关系的规定，邻里在行使自己的权利时，不得妨碍相邻方的合法权益。邻里随意搭建可能影响了你的通风、采光、日照等权益，违反了相邻关系的处理原则。

3. 可能构成违建：

   • 如果邻里的搭建行为未经过相关部门的审批，或者超出了其宅基地范围，那么这种搭建行为可能构成违法建筑。你可以向当地相关部门举报，要求拆除违建。

4. 建议措施：

   • 首先，你可以与邻里进行友好沟通，要求其停止搭建行为，并恢复原状。
   • 如果沟通无果，你可以向当地村委会或乡镇国土资源所反映情况，寻求帮助和解决方案。
   • 必要时，你也可以通过法律途径维护自己的合法权益，比如提起民事诉讼，要求邻里停止侵权、排除妨碍并赔偿损失。

综上所述，自家围墙被邻里随意搭建是违法的，你可以采取上述措施来维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。