别人用你的土地建房是违法的，并可能承担多重法律责任。以下是对此问题的详细法律分析和建议：
一、法律依据与性质认定
民事侵权：
- 土地属于你的合法财产，无论其是通过承包、出让等何种合法途径取得土地权益，未经你同意擅自建房，均构成对你土地用益物权（如土地承包经营权、建设用地使用权等）的侵害。
- 依据《民法典》等相关规定，你有权要求侵权人停止侵害、排除妨碍、恢复原状，并可要求赔偿因此造成的损失。
行政违法：
- 根据《中华人民共和国土地管理法》等法律法规，未经相关部门审批，私自占用他人土地建房违反了土地管理秩序。
- 在农村集体土地上建房需经过宅基地审批程序，在国有土地上建房则需有建设用地规划许可证、建设工程规划许可证等审批文件。缺乏这些合法审批手续即属于违法建设行为。
- 土地管理部门或相关行政执法部门有权责令停止建设、限期拆除违法建筑，并可处以罚款等行政处罚。
刑事犯罪（在特定情况下）：
- 如果情节严重，还可能触犯刑法。例如，非法占用农用地（耕地、林地等），改变被占用土地用途，数量较大且造成农用地大量毁坏的，可能构成非法占用农用地罪。
- 依据《中华人民共和国刑法》第三百四十二条等相关规定，犯此罪者将面临相应的刑事处罚，包括有期徒刑、拘役、罚金等。
二、违法后果与责任承担
民事责任：
- 侵权人需对你承担赔偿责任，包括但不限于拆除违法建筑的费用、恢复土地原状的费用以及因侵权行为导致的其他损失。
行政责任：
- 相关行政部门将介入调查处理，根据违法情节的轻重，可能会作出责令恢复土地原状、罚款等行政处罚决定。
刑事责任（在构成犯罪的情况下）：
- 如构成刑事犯罪，侵权人还需承担刑事责任，接受法律的严厉制裁。
三、处理建议
协商解决：
- 在发现侵权行为后，你可以尝试与侵权人协商，要求其停止侵害并恢复原状。如果侵权人愿意配合，可以签订书面协议明确双方的权利义务和恢复原状的期限。
法律途径：
- 若协商无果，你可以向当地自然资源部门举报侵权行为，要求相关部门介入调查处理。
- 同时，你也可以通过民事诉讼维护自己的权益。在提起诉讼前，你需要收集土地权属证明、现场照片、侵权行为的相关证据等材料，以支持你的诉讼请求。
- 如果侵权行为涉嫌刑事犯罪，你还可以向公安机关报案，要求追究侵权人的刑事责任。
四、预防措施
为了避免类似纠纷的发生，建议你采取以下预防措施：
明确土地权属：
- 确保你的土地权属清晰，有合法的土地权属证书或相关证明文件。
加强土地管理：
- 定期对土地进行巡查，及时发现并制止任何未经授权的占用或使用行为。
签订书面协议：
- 如果需要将土地出租、出借或允许他人使用，务必签订书面协议明确双方的权利义务和使用期限等条款。
总之，别人用你的土地建房是违法的，并可能承担民事、行政甚至刑事责任。如果你遇到此类问题，建议及时采取措施维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。