在找不到直接证据的情况下对付霸占你家土地的人，确实是一个比较棘手的问题，但并非没有解决之道。以下是我从多个角度为你提供的分析和建议：

1. 尝试通过协商解决：

   • 在法律程序之外，首先可以尝试与对方进行友好协商，看是否能够达成和解。有时候，通过沟通可以明确双方的权利和义务，从而找到解决问题的途径。
   • 在协商过程中，可以邀请村里的长辈、村委会成员或者中立的第三方作为见证人，以增加协商的公正性和有效性。

2. 收集间接证据：

   • 尽管直接证据可能难以找到，但你可以尝试收集一些间接证据来支持你的主张。比如，土地使用权的证书、土地税缴纳记录、土地上的作物种植情况、邻居或村民的证言等。
   • 这些间接证据虽然不如直接证据有力，但在法律程序中仍然具有一定的证明力，可以帮助你构建一个更完整的证据链。

3. 寻求村委会或乡镇政府的帮助：

   • 村委会或乡镇政府作为基层组织，对于土地纠纷有一定的调解和处理权限。你可以向他们反映情况，请求他们介入调解。
   • 在调解过程中，你可以提供你所收集到的所有证据，包括间接证据，以支持你的主张。如果调解成功，可以签订调解协议，明确双方的权利和义务。

4. 考虑法律途径：

   • 如果协商和调解都无法解决问题，你可以考虑通过法律途径来维护自己的权益。这包括向法院提起诉讼，要求对方停止侵权行为并返还土地。
   • 在诉讼过程中，你需要提供充分的证据来支持你的主张。虽然直接证据可能难以找到，但你可以通过律师的帮助，利用法律程序和规则来尽可能地收集和呈现证据。
   • 法律依据：根据《中华人民共和国土地管理法》的相关规定，土地所有权和使用权受法律保护，任何单位和个人不得侵犯。如果对方的行为构成侵权，你可以依法要求其承担法律责任。

5. 注意法律程序和时效：

   • 在采取法律行动之前，你需要了解相关的法律程序和时效规定。比如，诉讼时效期间、起诉条件、证据规则等。
   • 确保你的行动符合法律程序的要求，以免因为程序问题而影响你的权益维护。

在处理这类问题时，我建议你保持冷静和理性，不要采取过激或违法的行为来解决问题。同时，你也可以考虑咨询专业的法律人士（比如我），以获取更具体和个性化的法律建议。记住，法律是维护你权益的有力武器，合理利用法律程序和规则，你可以更好地保护自己的土地权益。