自家建房时，有人扒墙是违法的。以下从不同角度为你详细分析：
一、从物权保护角度
自家建房，你对房屋及所占用的土地享有合法的物权。根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利，包括所有权、用益物权和担保物权。房屋作为你的不动产，你对其享有所有权，这意味着你有权占有、使用、收益和处分该房屋。
- 扒墙行为的违法性：如果有人未经你的允许，擅自扒毁你房屋的墙体，这明显侵犯了你的物权。你的房屋墙体作为房屋的重要组成部分，受到法律的保护。任何未经许可的破坏行为，都是对物权的侵害，你都有权要求侵权人停止侵害、恢复原状或者赔偿损失。
二、从相邻关系角度
在处理相邻关系时，相邻各方应当遵循有利生产、方便生活、团结互助、公平合理的原则。自家建房时，虽然主要关注的是自己的房屋建设，但也需要考虑到与相邻方的关系。
- 扒墙可能引发的相邻纠纷：如果扒墙行为是相邻方所为，且该行为对你的房屋安全或者正常使用造成了影响，那么这可能构成对相邻关系的侵犯。例如，扒墙可能导致你的房屋结构受损，或者影响你的居住安全。在这种情况下，你有权要求相邻方停止侵害，并承担相应的赔偿责任。
三、从治安管理角度
扒墙行为还可能违反治安管理规定。根据《中华人民共和国治安管理处罚法》的相关规定，故意损毁公私财物的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。
- 扒墙行为的治安处罚：如果有人故意扒毁你房屋的墙体，且该行为造成了较大的财产损失或者社会影响，那么该行为人可能面临治安管理处罚。这不仅是对你财产权的保护，也是对社会秩序的维护。
四、从刑事责任角度
在极端情况下，扒墙行为还可能构成犯罪。例如，如果扒墙行为导致了严重的财产损失或者人员伤亡，那么行为人可能面临刑事责任的追究。
- 扒墙行为的刑事责任：根据《中华人民共和国刑法》的相关规定，故意毁坏公私财物，数额较大或者有其他严重情节的，处三年以下有期徒刑、拘役或者罚金；数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑。如果扒墙行为符合这些情形，那么行为人将面临刑事责任的追究。
建议：
- 保留证据：如果发生扒墙行为，第一时间保留好相关证据，如现场照片、视频、目击者证言等。这些证据将有助于你后续维权。
- 及时报警：如果扒墙行为涉嫌违法或者犯罪，及时向公安机关报案。公安机关将依法进行调查处理，并保护你的合法权益。
- 寻求法律帮助：如果扒墙行为给你造成了较大的损失或者影响，可以寻求专业律师的法律帮助。律师将为你提供专业的法律意见和维权方案。
如果你还有其他关于房产问题的疑问，可以直接向我咨询。