祠堂用地违法时，责任主体可能是牵头人、村组集体或实际使用人，具体需根据用地行为性质、参与主体及法律程序综合判定。以下从不同角度分析责任主体认定问题：

1. 若用地行为由个人牵头，但未获集体授权

• 责任主体：牵头人可能被认定为直接责任主体。
• 法律依据：根据《土地管理法》第七十七条，未经批准非法占用土地的，由县级以上人民政府土地行政主管部门责令退还土地，限期拆除或没收新建建筑物，并可处罚款。
• 案例参考：四川省筠连县案例中，资规局最初将责任归咎于两名牵头村民，但因“被处罚对象认定不清、证据不足”被撤销处罚。若牵头人未获集体授权，且无证据证明其行为代表集体，则可能单独承担责任。
• 建议：若您是牵头人，需证明用地行为已获集体同意（如会议记录、出资证明等），否则可能面临个人处罚。

2. 若用地行为由村组集体决定

• 责任主体：村组集体可能被认定为责任主体。
• 法律依据：根据《土地管理法》第七十七条，非法占用土地的单位或个人需承担责任。若用地行为由村组集体决定（如村民会议表决通过），则集体应作为责任主体。
• 案例参考：筠连县案例中，政府经调查确认占地建祠堂系村组集体行为，费用由全体村民及族人共同出资，最终撤销对个人的处罚，责令重新处理。
• 建议：若用地行为已获集体同意，需保留会议记录、出资证明等证据，以证明责任主体为集体而非个人。

3. 若用地行为涉及实际使用人

• 责任主体：实际使用人（如祠堂管理方）可能被认定为责任主体。
• 法律依据：根据《土地管理法》第七十七条，非法占用土地的“单位或个人”包括实际使用人。若祠堂建成后由特定主体管理使用，则该主体可能承担责任。
• 案例参考：浙江省泰顺县案例中，李贞守因个人名义动工兴建宗祠被处罚，但若祠堂由集体管理使用，则责任主体可能不同。
• 建议：若您是实际使用人，需证明用地行为已获合法授权（如集体决议、审批手续等），否则可能面临处罚。

4. 责任主体认定的关键因素

• 用地行为性质：是否涉及农用地转用、是否符合土地利用规划。
• 参与主体：是个人行为还是集体行为，是否有会议记录、出资证明等证据。
• 法律程序：是否经过审批、是否收到处罚告知书等。

5. 法律后果与应对建议

• 个人责任：可能面临退还土地、拆除建筑物、罚款等处罚。
• 集体责任：可能面临集体承担罚款、整改要求等。
• 应对建议：
  1. 保留用地行为的证据（如会议记录、审批文件、出资证明等）。
  2. 若收到处罚告知书，及时申请行政复议或提起行政诉讼。
  3. 咨询专业律师，分析责任主体及应对策略。

若您涉及祠堂用地违法问题，建议提供具体案情（如用地性质、参与主体、审批情况等），以便进一步分析责任主体及应对方案。