关于“在祠堂借的钱怎么处理”这一问题，核心前提是这笔借款发生在祠堂这一特定场所，但借款关系的法律效力与借款场所并无直接关联，关键在于借款行为本身是否符合法律规定。以下分情况说明处理方式：

1. 若借款行为合法有效
   若双方自愿签订了书面或口头借款合同（口头合同在金额较小或能证明存在借贷合意时也有效），且约定了利息、还款期限等条款（未约定利息则视为无息），则借款人应按约定履行还款义务。

   • 处理方式：出借人可先与借款人协商还款计划；若协商不成，可凭借条、转账记录、聊天记录等证据向法院提起民事诉讼，要求借款人还款。
     
   • 注意：若约定利息过高（超过合同成立时一年期贷款市场报价利率四倍），超出部分法院不予支持。

2. 若借款行为存在违法情形

   • 高利贷：若利息明显超出法定上限，超出部分无效，借款人仅需偿还本金及合法利息。
     
   • 赌博等非法债务：若借款用于赌博等违法活动，根据《民法典》规定，该借贷合同无效，借款人无需偿还，但需证明资金用途违法。
     
   • 胁迫或欺诈：若借款是在被胁迫、欺诈等情况下签订，可向法院申请撤销合同，无需还款。
     
   • 处理方式：收集证据（如录音、证人证言等）证明违法情形，向法院主张合同无效或撤销，并报警处理相关违法行为。

3. 若借款行为涉及特殊主体（如祠堂管理方）
   若祠堂管理方以祠堂名义出借资金（如族产用于借贷），需确认其是否具备合法出借资格：

   • 若祠堂管理方是合法登记的民间组织，且借款行为符合章程规定，则借款关系有效；
     
   • 若未登记或超出经营范围，可能涉及非法集资等风险，需向相关部门举报。
     

建议：无论哪种情况，均建议优先通过协商解决；若协商无果，及时收集证据（借条、转账记录、沟通记录等）并通过法律途径维权。如有具体细节需要进一步分析，可直接向我咨询。