结论：您直接去找施工方阻止其施工，这种行为本身可能并不直接构成违法，但需谨慎处理，避免引发冲突或侵犯他人合法权益，建议优先通过合法途径解决纠纷。

分析说明：

1. 从物权保护的角度：

   • 您的土地被他人非法占用并用于建房，这明显侵犯了您的物权。根据《民法典》的相关规定，您有权要求侵权人停止侵害、排除妨碍、返还财产等。然而，直接阻止施工并非法律规定的救济途径，而是您作为物权人的一种自我保护行为。虽然这种行为本身可能并不违法，但如果不当处理，可能引发冲突或导致其他法律后果。

2. 从行为合法性的角度：

   • 直接阻止施工可能涉及对他人财产权的干涉。如果施工方是在合法取得土地使用权的情况下进行施工（尽管实际上可能是非法的，但这一点需要您通过法律途径证明），您的阻止行为可能构成对他人财产权的侵犯。因此，在采取行动前，您应确保自己有充分的证据证明对方的行为是非法的。

3. 从解决纠纷的角度：

   • 更稳妥的做法是通过法律途径解决纠纷。您可以先尝试与对方协商，要求其停止施工并恢复原状。如果协商无果，您可以向相关部门（如土地管理部门、城管部门等）投诉或举报，要求其介入处理。同时，您也可以考虑向法院提起诉讼，要求对方承担侵权责任并赔偿损失。

行动建议：

• 收集证据：首先，您需要收集充分的证据来证明对方非法占用您的土地并用于建房。这包括土地权属证明、对方施工的照片或视频、证人证言等。
• 协商解决：在掌握充分证据后，您可以尝试与对方协商解决纠纷。明确表达您的诉求和立场，要求对方停止施工并恢复原状。
• 投诉举报：如果协商无果，您可以向相关部门投诉或举报对方的违法行为。相关部门将依法进行调查处理，并可能要求对方停止施工、拆除违法建筑等。
• 提起诉讼：如果其他途径均无法解决问题，您可以考虑向法院提起诉讼。在诉讼过程中，您需要提交充分的证据来证明对方的侵权行为，并要求法院判决对方承担侵权责任并赔偿损失。

风险提示：

• 在处理此类纠纷时，请务必保持冷静和理性，避免采取过激行为或引发冲突。
• 直接阻止施工可能涉及对他人财产权的干涉，因此请谨慎处理并确保自己的行为合法合规。
• 如果您不确定如何处理此类纠纷或担心自己的权益受到进一步侵害，请及时向我咨询或寻求其他专业法律帮助。