邻居的行为是违法的，他无权私自进入你的房屋并破坏你的财产。以下是从不同角度的详细分析：
从物权保护的角度：
- 根据《中华人民共和国民法典》的相关规定，你对自己的房屋享有合法的物权，包括占有、使用、收益和处分的权利。邻居未经你的允许，私自进入你的房屋并破坏你的大梁和墙，这明显侵犯了你的物权，特别是占有权和所有权。
- 你有权要求邻居停止侵害、恢复原状，并赔偿因此造成的损失。如果邻居拒绝履行这些义务，你可以通过法律途径来维护自己的权益，比如向法院提起诉讼。
从侵权责任的角度：
- 邻居的行为不仅侵犯了你的物权，还构成了侵权行为。根据《中华人民共和国民法典》中关于侵权责任的规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
- 在这个情况下，邻居因为认为你违规建房（这一认定本身还需要法律程序来确认），就私自采取行动破坏你的财产，这显然存在过错。因此，邻居应当承担侵权责任，包括赔偿你的经济损失和精神损害（如果适用的话）。
从行政处罚的角度：
- 邻居的行为还可能违反了《中华人民共和国治安管理处罚法》的相关规定。该法规定，非法侵入他人住宅或者非法搜查他人身体的，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款；情节较轻的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款。
- 虽然你的情况可能不完全符合“非法侵入他人住宅”的严格定义（因为是在建房屋，但通常仍被视为你的财产范围），但邻居的行为性质恶劣，且可能对其他居民造成不良影响，因此有可能受到行政处罚。
关于邻居说你违规建房的问题：
- 如果邻居认为你违规建房，他应该通过合法途径来解决问题，比如向相关部门举报或提起民事诉讼。私自采取行动破坏你的财产是违法的，不能成为他免责的理由。
- 同时，你也应该核实自己的建房行为是否确实符合相关法律法规和规划要求。如果确实存在违规情况，你应该及时整改以避免进一步的法律纠纷。
建议：
- 你应该立即报警，让警方介入调查并处理邻居的违法行为。
- 同时，你可以收集相关证据（如现场照片、视频、证人证言等），以便在后续的法律程序中维护自己的权益。
- 如果邻居的行为给你造成了经济损失，你可以要求他进行赔偿。如果协商不成，你可以通过法律途径来追讨赔偿。
在处理这类纠纷时，保持冷静和理性非常重要。通过法律途径来解决问题是最有效、最公正的方式。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。