结论：能否起诉对方诈骗罪，需结合具体情况判断，不能仅凭对方未将借款用于养牛这一事实直接认定诈骗罪。以下从不同角度进行分析：
一、诈骗罪的构成要件
诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。其构成要件包括：
- 主观方面：具有非法占有的目的。即行为人从一开始就意图通过欺骗手段非法获取他人财物，并无归还的意愿。
- 客观方面：实施了虚构事实或隐瞒真相的行为，使被害人产生错误认识，并基于这种错误认识处分了财物。
- 数额要求：诈骗的财物需达到数额较大的标准，具体数额标准因地区而异，但通常需达到一定金额（如几千元至几万元不等）才构成犯罪。
二、本案情况分析
若对方从借款时起就无归还意愿，且虚构了养牛的事实：
- 如果对方在借款时就已经没有打算归还，且通过虚构养牛的事实来骗取你们的信任，从而获取借款，那么这种行为可能构成诈骗罪。
- 在这种情况下，你们可以收集相关证据（如借款合同、聊天记录、转账记录等），向公安机关报案，由公安机关进行侦查，并最终由法院根据证据和法律规定进行判决。
若对方原本有归还意愿，但因经营不善等原因未能养牛：
- 如果对方在借款时确实有养牛的打算，并计划用借款来购买牛只或相关设备，但后来因市场变化、经营不善等原因未能实现养牛计划，且对方仍然有归还借款的意愿和能力，那么这种行为通常不构成诈骗罪。
- 在这种情况下，你们可以通过民事诉讼的方式要求对方归还借款及利息。如果对方确实无力归还，你们可以与对方协商分期还款或采取其他合法手段来维护自己的权益。
三、建议与注意事项
- 收集证据：无论选择哪种途径来维护自己的权益，都需要收集充分的证据来支持自己的主张。这包括借款合同、聊天记录、转账记录、对方的经济状况证明等。
- 咨询专业律师：由于法律问题具有复杂性和专业性，建议你们在采取任何行动之前咨询专业律师的意见。律师可以根据你们的具体情况和当地法律规定，为你们提供更具体、更专业的建议。
- 保持冷静与理性：在处理此类纠纷时，保持冷静和理性至关重要。避免采取过激行为或言语攻击对方，以免加剧矛盾或引发不必要的法律风险。
最后，如果你们有任何进一步的疑问或需要更具体的法律建议，请直接向我咨询。作为专业律师，我将根据你们的实际情况和当地法律规定，为你们提供全面、准确的法律服务。