别人干涉你建房是否违法，这主要取决于干涉的具体情形和干涉者的身份，以及干涉行为是否侵犯了你的合法权益。以下从几个常见角度进行分析：
干涉行为是否构成侵权：
- 如果干涉行为是无端的、恶意的，且直接阻碍了你正常的建房活动，比如通过破坏建筑材料、阻止施工人员进场等方式，那么这种行为很可能构成对你财产权或人身权的侵犯。根据《民法典》的相关规定，你有权要求干涉者停止侵害、排除妨碍，并可能要求赔偿因此造成的损失。
干涉者是否具有合法权限：
- 如果干涉者是政府相关部门或具有管理职能的机构，且干涉行为是基于法律法规的授权，比如因为你的建房行为违反了城乡规划、土地使用等相关规定，那么这种干涉可能是合法的。在这种情况下，你需要配合相关部门的调查和处理，并可能需要调整你的建房计划以符合法律法规的要求。
干涉行为是否涉及相邻权纠纷：
- 如果干涉行为来自于你的邻居，且是因为你的建房行为可能影响到他们的通风、采光、排水等相邻权益，那么这种干涉可能构成相邻权纠纷。在这种情况下，你需要与邻居进行协商，寻求合理的解决方案，比如调整建房方案、给予一定的经济补偿等。如果协商不成，你可以通过法律途径解决纠纷。
干涉行为是否构成犯罪：
- 在极端情况下，如果干涉行为严重到构成犯罪，比如故意毁坏财物、寻衅滋事等，那么干涉者将面临刑事责任的追究。你可以向公安机关报案，要求依法处理干涉者。
针对你的情况，我建议采取以下措施：
- 首先，明确干涉者的身份和干涉的具体原因。这有助于你判断干涉行为的合法性和性质，从而采取相应的应对措施。
- 其次，与干涉者进行沟通协商。尝试通过友好协商解决问题，避免矛盾升级和扩大化。
- 如果协商不成，你可以寻求法律援助。比如向当地法律援助中心咨询或聘请律师代理你的案件，通过法律途径维护你的合法权益。
最后，需要强调的是，在处理此类纠纷时，务必保持冷静和理性，避免采取过激行为或言语攻击对方。同时，也要积极收集和保留相关证据，以便在需要时提供有力的支持。如果你有任何进一步的疑问或需要法律帮助，请随时向我咨询。