针对对方厂房都是违建的情况，您可以考虑以下几种处理方式：

1. 向相关部门举报：

   • 法律依据：根据《中华人民共和国城乡规划法》等相关法律法规，违法建筑应当由城乡规划主管部门或者其他有关部门依法进行查处。
   • 操作建议：您可以向当地的城乡规划部门、城市管理综合执法部门或者相关政府部门进行举报，提供详细的违建信息，如位置、面积、建设时间等，以便相关部门进行调查和处理。
   • 可能后果：相关部门在接到举报后，会进行调查核实，如果确认是违建，可能会依法进行拆除、罚款等处理措施。

2. 通过法律途径解决：

   • 民事诉讼：如果违建厂房对您的合法权益造成了侵害，比如影响了您的采光、通风、通行等，您可以考虑向法院提起民事诉讼，要求对方停止侵害、排除妨碍、赔偿损失等。
   • 行政诉讼：如果您认为相关部门对违建厂房的处理不力或者存在违法行为，您也可以考虑提起行政诉讼，要求相关部门履行法定职责或者撤销其违法行政行为。
   • 操作建议：在提起诉讼前，建议您先收集相关证据，如照片、视频、证人证言等，以证明违建厂房的存在以及对您造成的侵害。同时，咨询专业律师，了解诉讼流程和可能的风险。

3. 协商与调解：

   • 操作建议：在举报或诉讼之前，您也可以尝试与对方进行协商，看是否能够达成和解协议，比如对方自行拆除违建厂房、给予您一定的经济补偿等。如果协商不成，您可以考虑邀请第三方进行调解，如社区调解委员会、人民调解组织等。
   • 可能优势：协商与调解通常成本较低、效率较高，且能够维护双方的关系，避免进一步的冲突和纠纷。

4. 注意风险防范：

   • 风险提示：在处理违建厂房问题时，您需要注意保护自己的合法权益，避免采取过激行为或者违法手段。同时，也要关注对方可能的反应和行动，做好风险防范和应对措施。
   • 操作建议：在举报或诉讼过程中，保持与相关部门的沟通联系，及时了解处理进展和结果。如果对方采取威胁、恐吓等不正当手段，您可以及时报警并保留相关证据。

在处理违建厂房问题时，您需要根据具体情况选择合适的处理方式。如果您对法律程序不熟悉或者担心自己的权益无法得到保障，建议您及时咨询专业律师，以便更好地维护自己的合法权益。如果您有任何法律问题或者需要进一步的法律帮助，请随时向我咨询。