结论：别人在你家坟旁建房是否违法，需结合具体情况判断，主要涉及土地使用权、相邻权及地方性规定等因素。以下从不同角度详细分析：

1. 土地使用权归属

• 若坟地所在土地归你家所有或持有合法使用权（如宅基地、自留地等），他人未经许可建房属于非法侵占，违反《土地管理法》相关规定。你可要求对方停止侵害、恢复原状，甚至通过法律途径主张赔偿。
• 若坟地所在土地为他人所有或属于公共用地（如集体土地、未确权土地），则需进一步分析建房行为是否侵犯相邻权或违反地方规定。

2. 相邻权与公序良俗

• 根据《民法典》第二百八十八条，不动产的相邻权利人应遵循有利生产、方便生活、团结互助、公平合理的原则处理相邻关系。若建房行为严重影响你家对坟地的祭扫、管理（如阻碍通行、破坏环境），可能构成对相邻权的侵犯，你有权要求排除妨碍。
• 从公序良俗角度，若建房行为被当地社会普遍认为不尊重逝者或违背传统习俗，可能引发民事纠纷，但法律上需结合具体损害后果判断。

3. 地方性规定与规划限制

• 部分地区对坟地周边建筑有明确限制（如距离、高度、用途等），需查询当地《殡葬管理条例》或《城乡规划法》实施细则。若建房行为违反地方性规定，可能面临行政处罚（如责令拆除、罚款）。
• 例如，某些地区规定坟地周边50米内不得新建住宅，若违反则属违法。

4. 特殊情形：历史遗留问题

• 若坟地存在已久且周边土地权属复杂（如祖辈流传、未办理确权），需通过协商或行政确权程序明确土地归属后，再判断建房行为是否合法。

法律建议

1. 核实土地权属：通过土地证、村委会证明等材料确认坟地所在土地的使用权归属。
2. 与对方协商：若权属清晰且对方行为可协商，可要求其调整建房位置或补偿损失。
3. 向行政部门投诉：若建房行为违反规划或地方规定，可向当地自然资源局、城管部门举报。
4. 提起民事诉讼：若协商无果且对方行为侵犯相邻权或土地使用权，可向法院起诉要求停止侵害、赔偿损失。

风险提示

• 若未及时主张权利，可能导致建房行为完成并形成既定事实，增加后续维权成本。
• 地方性规定差异较大，建议优先查询当地具体政策或咨询专业律师。

如有进一步疑问或需具体指导，可直接向我咨询。