结论：您家旁边建厂房是否违法，需根据厂房建设的合法性、是否符合规划、是否取得相关许可、是否侵犯您的相邻权等多个因素综合判断。以下从不同角度为您详细分析：
一、厂房建设的合法性基础
规划许可：
- 根据《城乡规划法》的相关规定，建设厂房应当符合城乡规划，并依法取得建设工程规划许可证。若厂房建设未取得规划许可，或虽取得许可但违反许可内容进行建设，则属于违法建设。
土地使用：
- 厂房建设还需符合土地利用总体规划，并依法取得土地使用权。若厂房建设在非法占用的土地上，或未按照土地使用权出让合同约定的用途使用土地，同样构成违法。
二、对您权益的影响及相邻权保护
相邻权：
- 根据《民法典》中关于相邻关系的规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。若厂房建设影响您的通风、采光、日照、通行等相邻权，您有权要求建设方采取措施消除影响或赔偿损失。
环境影响：
- 若厂房建设或运营过程中产生噪音、粉尘、废水等污染，影响您的生活环境，您有权依据《环境保护法》等相关法律法规，要求建设方采取措施减少污染，或向环保部门投诉举报。
三、您可采取的行动及建议
核实规划许可：
- 您可向当地城乡规划部门查询该厂房是否取得建设工程规划许可证，以及许可内容是否与实际建设情况相符。
了解土地使用情况：
- 向当地国土资源部门了解该厂房所占土地的使用性质、土地使用权取得方式及是否符合土地利用总体规划。
评估相邻权影响：
- 观察厂房建设是否对您的通风、采光、日照、通行等相邻权造成影响，并收集相关证据（如照片、视频等）。
协商与投诉：
- 若发现厂房建设存在违法情形或对您权益造成影响，可先与建设方协商解决。协商无果的，可向当地城乡规划部门、国土资源部门或环保部门投诉举报，要求相关部门依法处理。
法律途径：
- 若上述途径均无法解决问题，您可考虑通过法律途径维护自身权益，如提起相邻权纠纷诉讼或行政诉讼等。
四、特殊情况说明
- 历史遗留问题：若该厂房建设时间较早，可能存在历史遗留问题，如未取得规划许可但已存在多年等。对于此类情况，需结合当地政策及实际情况进行综合判断。
- 政策变化：随着城乡规划、土地利用等政策的不断调整和完善，厂房建设的合法性标准也可能发生变化。因此，在判断厂房是否违法时，需结合最新的政策法规进行考量。
总结：您家旁边建厂房是否违法，需根据具体情况综合判断。若您发现厂房建设存在违法情形或对您权益造成影响，建议及时采取行动维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。