结论：别人建房子挖你们的自留地是否违法，需根据具体情况判断，主要涉及土地权属、是否取得合法手续以及是否造成损害等因素。以下从不同角度进行分析：

1. 土地权属角度

   • 若自留地权属清晰且属于你们所有：根据《中华人民共和国土地管理法》的相关规定，土地的所有权和使用权受法律保护，任何单位和个人不得侵犯。若别人未经允许擅自挖掘你们的自留地，这明显侵犯了你们的土地使用权，属于违法行为。
   • 若自留地存在权属争议：在权属未明确之前，任何一方都不应擅自改变土地现状或进行建设活动。若别人在权属争议期间挖掘你们的自留地，同样可能构成侵权，但具体责任需待权属确定后进一步判断。

2. 合法手续角度

   • 若别人已取得合法建设手续：即便别人取得了在相邻土地上建设的合法手续，如规划许可证、施工许可证等，但这并不意味着他们可以随意挖掘你们的自留地。若挖掘行为超出了建设所需的合理范围，或者未采取必要的保护措施导致你们的土地受损，仍可能构成违法或侵权。
   • 若别人未取得合法建设手续：未经批准擅自进行建设活动，包括挖掘土地，本身就是违法的。此时，你们有权向相关部门举报，并要求停止侵权行为、恢复土地原状或赔偿损失。

3. 损害后果角度

   • 若挖掘行为未造成损害：即便别人挖掘了你们的自留地，但若未造成实际损害（如土地塌陷、农作物毁坏等），从法律责任的角度来看，可能相对较轻。但你们仍有权要求对方停止侵权行为，并采取措施防止未来可能发生的损害。
   • 若挖掘行为造成损害：若别人的挖掘行为导致了你们的土地受损或农作物毁坏等实际损失，你们有权要求对方承担赔偿责任。赔偿范围应包括直接损失（如土地修复费用、农作物损失等）和间接损失（如因土地受损导致的收益减少等）。

法律建议：

• 收集证据：若发现别人擅自挖掘你们的自留地，应立即收集相关证据，如现场照片、视频、证人证言等，以便后续维权。
• 与对方协商：在证据充分的情况下，可以尝试与对方进行协商，要求其停止侵权行为、恢复土地原状或赔偿损失。
• 向相关部门举报：若协商无果，可以向当地土地管理部门、规划部门或建设部门举报对方的违法行为，要求相关部门介入调查并处理。
• 寻求法律救济：若对方的行为给你们造成了实际损失且拒绝赔偿，可以向人民法院提起诉讼，要求对方承担法律责任并赔偿损失。

可能法律后果：

• 行政责任：若别人的行为违反了土地管理、规划或建设等相关法律法规，可能面临行政处罚，如罚款、责令停止违法行为、限期拆除违法建筑等。
• 民事责任：若别人的行为给你们造成了实际损失，需承担民事赔偿责任，包括赔偿直接损失和间接损失。
• 刑事责任：在极端情况下，若别人的行为构成了犯罪（如故意毁坏财物罪等），还需承担刑事责任。

如有进一步疑问或需要具体法律帮助，请直接向我咨询。