结论概述：针对您提出的“建牛棚与业主签协议如验收不合格与他无关，那怎么样才能把投资的钱要回来”的问题，这主要取决于协议的具体内容、验收不合格的原因以及双方的责任划分。以下是从不同角度给出的详细分析和建议。
一、协议内容分析
协议条款的明确性：
- 首先，需要仔细审查您与业主签订的协议，特别是关于验收不合格时的责任划分和资金退还的条款。如果协议中明确规定了验收不合格时业主应退还您的投资款，那么您有权依据协议要求业主退款。
- 如果协议中没有明确规定或规定模糊，那么您可能需要通过协商、调解或诉讼等方式来争取退款。
协议的法律效力：
- 确保协议是双方真实意思的表示，且没有违反法律法规的强制性规定。如果协议存在无效或可撤销的情形（如欺诈、胁迫等），您可能需要在法律规定的期限内行使撤销权或主张协议无效。
二、验收不合格的原因及责任划分
业主原因导致的验收不合格：
- 如果验收不合格是由于业主提供的场地、材料或设计等问题导致的，那么业主应承担相应的责任。在这种情况下，您有权要求业主退还投资款，并可能要求业主赔偿您的损失。
您原因导致的验收不合格：
- 如果验收不合格是由于您的施工、管理或技术等问题导致的，那么您可能需要承担相应的责任。在这种情况下，要求业主全额退还投资款可能较为困难，但您可以尝试与业主协商部分退款或采取其他补救措施。
双方共同原因或不可抗力导致的验收不合格：
- 如果验收不合格是由于双方共同原因或不可抗力（如自然灾害、政策变化等）导致的，那么双方应协商解决退款问题。在这种情况下，可能需要根据实际情况分担损失。
三、法律途径及建议
协商与调解：
- 在采取法律行动之前，建议您首先尝试与业主进行协商或寻求第三方调解。通过友好沟通，双方可能能够达成退款协议或找到其他解决方案。
诉讼途径：
- 如果协商和调解无果，您可以考虑通过诉讼途径来维护自己的权益。在提起诉讼前，您需要收集充分的证据来证明自己的主张，如协议文本、验收报告、沟通记录等。
- 在诉讼过程中，法院将根据协议内容、验收不合格的原因及责任划分等因素来判决业主是否应退还您的投资款。
注意事项：
- 在采取任何法律行动之前，请确保您已经充分了解了相关法律法规和诉讼程序，并咨询了专业律师的意见。
- 保留好所有与案件相关的证据和文件，以便在需要时提供证明。
四、实际操作建议
- 及时沟通：与业主保持及时、有效的沟通，了解验收不合格的具体原因和业主的态度。
- 收集证据：收集与案件相关的所有证据和文件，包括协议文本、验收报告、沟通记录、付款凭证等。
- 咨询律师：在采取任何法律行动之前，咨询专业律师的意见，了解自己的权益和可能的法律后果。
- 考虑成本：在决定是否采取法律行动时，考虑诉讼成本和时间成本等因素，权衡利弊后做出决策。
如果您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。