未经批准用地建祠堂，违法责任主体通常为实际用地人或建设人。以下是对此问题的详细分析：
一、违法责任主体的认定
实际用地人：
- 在未经批准的情况下，擅自占用土地建设祠堂的行为，首先违反了土地管理法规。实际用地人，即未经批准而占用土地进行建设的个人或组织，是这一违法行为的直接实施者，因此应被认定为违法责任主体。
建设人：
- 如果建设祠堂的行为是由某个特定的个人或组织（如村委会、家族团体等）发起并实施的，那么该个人或组织也应被视为违法责任主体。他们不仅参与了违法用地的行为，还可能直接组织了祠堂的建设。
二、违法行为的法律后果
行政处罚：
- 根据《中华人民共和国土地管理法》的相关规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款。
刑事责任：
- 如果非法占用土地的行为情节严重，如占用大量耕地或基本农田，或者造成土地严重破坏等，还可能构成非法占用农用地罪，依法应追究刑事责任。
三、特殊情况下的责任主体
共同行为人：
- 如果建设祠堂的行为是由多人或多个组织共同实施的，那么这些共同行为人应共同承担违法责任。他们之间的责任划分可能根据各自在违法行为中的具体作用和贡献来确定。
单位责任：
- 如果建设祠堂的行为是由某个单位（如村委会、企业等）实施的，那么该单位应作为违法责任主体承担责任。单位的主要负责人和直接责任人员也可能因单位违法行为而受到相应的行政处罚或刑事责任追究。
四、建议与措施
立即停止违法行为：
- 一旦发现未经批准用地建祠堂的行为，应立即停止建设，并主动向当地土地行政主管部门报告情况，接受处理。
补办审批手续：
- 如果祠堂建设符合当地土地利用总体规划和城乡规划要求，且符合其他相关条件，可以尝试补办审批手续，使建设行为合法化。
寻求法律帮助：
- 在处理此类问题时，建议咨询专业律师以获取更具体的法律建议和指导。律师可以根据具体情况提供针对性的法律意见和解决方案。
如有任何法律问题或需要进一步的法律帮助，请直接向我咨询。