结论：如果对方违规建房，你进行阻拦施工，对方在一般情况下并不能直接告你侵权，但也要具体分析阻拦行为是否合法合理。
分析说明：
违规建房的定义：首先，我们要明确“违规建房”的含义。这通常指的是在没有获得相应建设许可或者违反了城乡规划、土地管理等法律法规的情况下进行的房屋建设。这样的建设行为本身就是违法的。
阻拦行为的性质：你作为相邻方或者有关利害关系人，有权对违规建房行为进行阻拦，但这种阻拦必须是在法律允许的范围内，比如通过向相关部门举报、申请行政执法等方式进行。如果你采取了过激的、非法的手段进行阻拦，比如破坏施工设备、阻挠施工人员等，那么你的行为就可能构成侵权，甚至犯罪。
法律途径：如果对方违规建房，你最好的做法是通过法律途径来解决问题。你可以向当地的城乡规划部门、土地管理部门等举报对方的违规行为，要求他们进行查处。如果对方的建房行为确实侵犯了你的合法权益，你还可以向法院提起民事诉讼，要求对方停止侵权、赔偿损失等。
侵权判定的考量：在判断你的阻拦行为是否构成侵权时，法院会综合考虑多个因素，包括你的阻拦行为是否合法、是否必要、是否给对方造成了不必要的损失等。如果你的阻拦行为是合法的、必要的，且没有给对方造成不必要的损失，那么你的行为就不构成侵权。
总结：因此，在对方违规建房的情况下，你进行阻拦施工并不一定构成侵权。但你需要确保你的阻拦行为是合法、合理的，并尽量避免采取过激或非法的手段。如果对方对你的阻拦行为提出侵权指控，你可以通过法律途径来维护自己的合法权益。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。