结论是：您有权要回自家土地，但具体能否成功收回及收回方式，需视土地性质、对方使用性质及是否构成侵权等因素而定。以下从不同角度为您详细分析：
一、土地性质是关键
若土地为宅基地：
- 宅基地使用权具有人身专属性，仅限本集体经济组织成员享有。非本集体成员或未经批准擅自占用宅基地的，其使用权不受法律保护。
- 若对方非本集体成员或未经您家同意擅自占用宅基地耕种，您有权要求其立即停止侵害、返还土地，并可要求赔偿损失。
若土地为承包地：
- 承包地使用权受法律保护，但需考虑承包期限及流转情况。
- 若承包期限未满，且您家未将土地流转给他人，对方擅自耕种构成侵权，您有权要求其返还土地并赔偿损失。
- 若承包期限已满或您家已将土地流转给他人，则需根据流转协议或法律规定处理。
二、对方使用性质需明确
若对方为无偿使用：
- 无论土地性质如何，对方未经您家同意无偿使用土地均构成侵权。您有权要求其立即停止侵害、返还土地，并可要求赔偿因侵权造成的损失。
若对方为有偿使用但未经您家同意：
- 对方虽支付了一定费用，但未经您家同意擅自使用土地仍构成侵权。您有权要求其返还土地，并可就已支付的款项与对方协商处理或通过法律途径解决。
三、是否构成侵权及法律后果
构成侵权的情形：
- 对方未经您家同意擅自占用土地耕种，无论是否支付费用，均构成对土地使用权的侵害。
- 侵害土地使用权需承担停止侵害、返还土地、赔偿损失等民事责任。
不构成侵权的例外：
- 若您家曾明确表示允许对方使用土地，或双方存在口头/书面协议约定对方可使用土地，则对方行为可能不构成侵权。但此时需根据协议内容确定双方权利义务。
四、建议行动步骤
收集证据：
- 收集土地权属证明（如宅基地证、承包合同等）、对方使用土地的证据（如照片、视频、证人证言等）以及因对方使用土地造成的损失证据（如农作物减产证明、土地修复费用等）。
与对方协商：
- 在掌握充分证据的基础上，可尝试与对方协商解决。明确要求对方停止侵害、返还土地，并就损失赔偿问题进行协商。
寻求法律帮助：
- 若协商无果，可向当地农村土地承包仲裁委员会申请仲裁或向人民法院提起诉讼。在诉讼过程中，需提交充分证据证明对方侵权事实及损失情况。
最后需要提醒的是，每个案件的具体情况都有所不同，法律适用也可能因地区、时间等因素而有所差异。因此，在处理此类纠纷时，建议您根据实际情况咨询专业律师（也就是我啦），以便得到更准确、更全面的法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。