可以直接起诉，但需结合具体情况选择合适的法律途径。以下是针对不同情形的详细分析：

1. 若对方行为构成侵权（如非法占用土地、破坏农作物）

• 法律依据：根据《民法典》第236条（返还原物请求权）、第238条（财产损害赔偿），您有权要求对方停止侵害、返还土地并赔偿损失。
• 操作建议：
  1. 收集证据：包括土地权属证明（如土地承包经营权证）、对方占地的照片/视频、村委会或派出所的调解记录等。
  2. 起诉流程：向被告住所地或侵权行为地法院提起民事诉讼，诉求包括返还土地、恢复原状、赔偿损失等。
  3. 注意事项：若对方拒不履行判决，可申请法院强制执行。

2. 若涉及土地权属争议（如边界不清、权属纠纷）

• 法律依据：根据《土地管理法》第14条，土地所有权和使用权争议由当事人协商解决；协商不成的，由人民政府处理。
• 操作建议：
  1. 行政处理前置：先向乡（镇）政府或县级自然资源部门申请确权，拿到《土地权属争议处理决定书》后再起诉。
  2. 直接起诉的例外：若政府未在法定期限内处理，或您对处理结果不服，可向法院提起行政诉讼（起诉政府不作为或处理决定）。

3. 若对方行为涉嫌违法（如破坏耕地、寻衅滋事）

• 法律依据：根据《刑法》第275条（故意毁坏财物罪）、第293条（寻衅滋事罪），若对方行为达到刑事立案标准，可向公安机关报案。
• 操作建议：
  1. 固定证据：包括现场照片、视频、证人证言、损失评估报告等。
  2. 报案流程：向当地派出所报案，要求立案侦查；若公安机关不立案，可申请复议或向检察院申诉。

4. 若多次调解无果，建议优先通过法律程序解决

• 调解途径：可再次申请村委会、乡（镇）司法所或人民调解委员会调解，但调解协议不具有强制执行力。
• 诉讼优势：法院判决具有强制执行力，可直接通过司法手段维护权益。

关键提醒：

• 时效问题：民事诉讼时效为3年，自知道权利受损之日起计算，建议尽快行动。
• 证据保留：务必保存好土地权属证明、对方侵权的直接证据（如现场照片、视频）、损失清单等。
• 专业协助：土地纠纷涉及法律和政策复杂，建议委托律师协助取证、起草法律文书并参与诉讼。

如有进一步问题（如证据收集、诉讼策略等），可直接向我咨询，我会结合您的具体情况提供详细方案。