施工方可以通过以下途径尝试要回投资的钱，但需结合具体情况选择适用策略：

1. 以“业主实际使用”作为抗辩，主张工程已视为合格
   根据《民法典》第七百九十九条及《建设工程司法解释一》第十四条，若工程虽未通过验收，但业主已实际投入使用，可视为其对工程质量的认可（除非业主能证明使用部分存在质量问题且与未验收直接相关）。此时，施工方可主张：

   • 业主使用行为构成对工程质量的“事实接受”，应支付工程款；
     
   • 若业主以“未验收”为由拒付，施工方可要求其提供工程质量问题的证据，否则需承担举证不能的后果。
     操作建议：收集业主使用牛棚的证据（如照片、视频、养殖记录等），证明其已实际投入使用，并以此为据向业主发函催款。

2. 通过协商或诉讼主张“工程款优先受偿权”
   若业主仍拒付，施工方可依据《民法典》第八百零七条主张“建设工程价款优先受偿权”，即对牛棚折价或拍卖的价款优先受偿。但需注意：

   • 优先受偿权行使期限为“自发包人应当给付建设工程价款之日起18个月”，需及时主张；
     
   • 若牛棚已抵押给第三方（如银行），优先受偿权可能受限，需结合抵押登记时间判断。
     操作建议：若协商无果，可向法院起诉并申请财产保全，同时主张优先受偿权。

3. 以“合同目的实现”为由主张付款
   若施工合同未明确约定“验收合格为付款前提”，或约定模糊，施工方可主张：

   • 业主使用牛棚已实现合同目的（养殖），应支付对应价款；
     
   • 若合同约定“验收合格后付款”，但验收未通过系业主原因（如未提供验收条件、拖延验收），施工方可主张业主违约，要求付款并赔偿损失。
     操作建议：审查合同条款，若存在业主原因导致验收拖延的证据（如沟通记录、书面通知等），可据此主张业主承担责任。

4. 风险提示：需排除“质量瑕疵”对主张的影响
   若牛棚存在质量问题（如结构安全隐患、养殖功能缺陷等），且质量问题与未验收直接相关，业主可能以“质量不合格”为由拒付或要求减价。此时，施工方需：

   • 证明质量问题非施工原因导致（如设计缺陷、业主擅自改动等）；
     
   • 若质量问题属施工方责任，需主动修复或协商减价，避免扩大损失。
     操作建议：委托第三方机构对牛棚质量进行鉴定，明确责任归属。

总结建议：施工方应优先通过协商解决，同时收集业主使用证据、合同条款、沟通记录等材料；若协商无果，可结合“实际使用视为合格”“优先受偿权”“合同目的实现”等法律依据起诉维权。具体策略需根据合同条款、质量情况、业主态度综合判断，建议进一步提供细节后制定方案。