结论：自建房被别人在旁边建祠堂是否违法，需根据具体情况判断，主要涉及土地使用权、相邻关系以及是否违反相关规划或管理规定。以下从不同角度进行分析：

一、土地使用权角度

1. 若祠堂建设占用了您的土地使用权范围：

   • 根据《中华人民共和国民法典》的相关规定，土地使用权人依法对国家所有的土地和集体所有的土地享有占有、使用和收益的权利，有权依法利用该土地建造建筑物、构筑物及其附属设施。若祠堂建设占用了您的土地使用权范围，则构成侵权，您有权要求停止侵害、排除妨碍、恢复原状，并可能要求赔偿损失。

2. 若祠堂建设未占用您的土地使用权范围：

   • 若祠堂建设在您土地使用权范围之外，但紧邻您的自建房，则主要涉及相邻关系问题，而非直接的土地使用权侵权。

二、相邻关系角度

• 相邻关系原则：根据《中华人民共和国民法典》中关于相邻关系的规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。
• 可能的影响：若祠堂的建设或使用对您的生活造成了实质性影响，如噪音、采光、通风等，您有权要求对方采取措施消除影响或赔偿损失。但需注意，这种影响需达到一定程度，且需有充分证据证明。

三、规划与管理规定角度

1. 是否违反规划：

   • 若祠堂的建设违反了当地的城乡规划或土地利用规划，如未取得建设工程规划许可证或违反规划要求进行建设，则可能面临规划部门的处罚，包括责令停止建设、限期拆除、罚款等。

2. 是否违反管理规定：

   • 某些地区可能对祠堂等宗教或文化设施的建设有特定的管理规定，如需经过特定部门的审批或符合特定的建设标准。若未遵守这些规定，也可能面临相应的法律责任。

四、建议与措施

1. 核实土地使用权范围：首先，您应核实自己的土地使用权范围，确认祠堂是否占用了您的土地。
2. 评估相邻影响：若祠堂未占用您的土地，但对您造成了实质性影响，您应评估这种影响的具体程度和证据。
3. 咨询相关部门：您可咨询当地的规划部门、土地管理部门或宗教事务管理部门，了解祠堂的建设是否符合相关规划和管理规定。
4. 寻求法律途径：若确认存在侵权或违法行为，您可通过法律途径维护自己的权益，如向法院提起诉讼或向相关部门投诉。

总结：自建房被别人在旁边建祠堂是否违法，需根据具体情况判断。若涉及土地使用权侵权、相邻关系纠纷或违反规划和管理规定，您有权采取相应措施维护自己的权益。如有具体疑问或需要进一步的法律帮助，请直接向我咨询。