先明确核心前提：您家拥有使用权的荒地被他人擅自用于养牛。针对这种情况，以下是具体分析和建议：

1. 确认土地权属与用途
   首先需确认您对荒地的使用权是否合法（如持有土地承包经营权证、宅基地使用权证等）。若权属明确，他人未经允许占用属于侵权行为。同时需核查土地规划用途，若荒地被划定为“基本农田”或“生态保护区”，养牛可能涉及违规改变土地用途，需向自然资源部门举报。

2. 协商解决
   建议优先与占用方沟通，明确要求其停止侵权行为（如迁走牛群、恢复土地原状），并可主张赔偿损失（如土地被破坏导致的复垦费用、租金损失等）。协商时注意保留证据（如录音、书面协议）。

3. 行政投诉
   若协商无果，可向当地乡镇政府或自然资源部门投诉，要求查处非法占用土地行为。根据《土地管理法》第七十七条，未经批准非法占用土地的，由县级以上人民政府自然资源主管部门责令退还土地，没收违法所得，并可处罚款。

4. 民事诉讼
   若占用方拒不退出且造成较大损失，可向法院提起民事诉讼，主张：

   • 停止侵害、排除妨碍（如要求迁走牛群）；
     
   • 赔偿损失（包括土地占用费、复垦费用等）；
     
   • 若合同关系存在（如曾出租但对方违约），可要求解除合同并赔偿。
     需准备证据：土地权属证明、占用现场照片/视频、损失计算依据等。

5. 刑事责任（极端情况）
   若占用方通过暴力、威胁手段强行占用，或占用面积巨大、造成严重后果，可能涉嫌《刑法》第二百四十五条“非法侵入住宅罪”（若涉及住宅用地）或第三百四十二条“非法占用农用地罪”，可向公安机关报案。

行动建议：

• 立即固定证据（如拍照、录像、证人证言）；
  
• 书面催告占用方限期退出（留存送达凭证）；
  
• 根据占用方态度选择协商、投诉或诉讼路径。
  

如有进一步细节（如土地性质、占用时长、对方态度等），可继续向我说明，我会为您定制更具体的解决方案。