结论：您有权以侵犯相邻权为由阻止在自家房屋旁建设噪音大的厂，但需满足一定条件并遵循相应法律程序。
法律背景与依据：
相邻权定义：相邻权是指不动产的相邻各方因行使所有权或使用权而发生的权利义务关系。在《中华人民共和国民法典》中，相邻权得到了明确的规定和保护，特别是关于相邻不动产之间不得排放噪声、光、电磁辐射等有害物质的规定。
噪音污染的法律界定：根据《中华人民共和国环境噪声污染防治法》，环境噪声污染是指所产生的环境噪声超过国家规定的环境噪声排放标准，并干扰他人正常生活、工作和学习的现象。若该厂的建设和运营将产生超过法定标准的噪音，则构成噪音污染。
法律建议与行动步骤：
收集证据：
- 记录噪音发生的时间、频率、强度等详细信息。
- 收集周边居民或邻居的证言，证明噪音对日常生活造成了实际影响。
- 如有条件，可委托专业机构进行噪音检测，获取具有法律效力的检测报告。
与建设方协商：
- 在掌握充分证据的基础上，尝试与建设方进行友好协商，提出合理的降噪要求或解决方案。
- 协商过程中，可引用相关法律法规，强调建设方应承担的降噪义务。
向相关部门投诉：
- 若协商无果，可向当地环保部门、城市规划部门或建设主管部门投诉，要求相关部门介入调查并处理。
- 投诉时，应提供详细的证据材料，以便相关部门能够准确判断噪音污染情况并采取相应措施。
提起法律诉讼：
- 若投诉仍未得到有效解决，您有权向人民法院提起相邻权纠纷诉讼，要求建设方停止侵害、排除妨碍或赔偿损失。
- 在诉讼过程中，应充分准备证据材料，并可能需要聘请专业律师进行代理，以确保自身权益得到充分保护。
可能的法律后果：
- 若建设方确实存在噪音污染行为且未采取有效措施进行整改，可能面临行政处罚，包括罚款、责令停产整顿等。
- 在民事诉讼中，若法院认定建设方构成侵权，建设方可能需要承担停止侵害、排除妨碍、赔偿损失等民事责任。
进一步思考：
- 在处理此类纠纷时，除了法律手段外，还可考虑通过社区调解、媒体曝光等方式施加压力，促使建设方积极解决问题。
- 同时，也应关注自身权益的长期保护，如要求建设方在运营过程中持续采取降噪措施，确保噪音污染不再复发。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。