结论：对方声称土地是他们家的这一行为本身不一定犯法，但具体是否违法需根据实际情况判断，包括土地的实际归属、对方主张的依据以及是否存在侵权行为等。
分析如下：
土地实际归属：
- 如果土地确实属于您，且您有合法的土地使用权证明（如宅基地使用证、土地承包经营权证等），那么对方声称土地是他们家的，就缺乏法律依据，可能构成对您的名誉权或财产权的侵害（如果伴随有诋毁、破坏等行为）。但单纯的口头声称，一般不直接构成犯罪，可能属于民事纠纷范畴。
对方主张的依据：
- 如果对方能提供合理的证据或理由来支持其主张（如历史遗留问题、家族内部协议等，尽管这些可能不具有法律效力），那么这更多是一个需要法律程序来解决的争议，而非直接的违法行为。
- 如果对方无法提供任何依据，只是无端声称，这可能构成对您的不当干扰或诽谤（如果伴随有公开散布不实信息等行为），您可以考虑通过法律途径维护自己的权益。
是否存在侵权行为：
- 关键在于对方是否采取了实际行动来侵占或破坏您的土地。如果对方只是口头声称，没有进一步的行动，那么一般不构成侵权。
- 如果对方实际占用了您的土地，或者进行了破坏、耕种等行为，那么这就构成了对您的土地使用权的侵害，您有权要求对方停止侵害、恢复原状，并可能要求赔偿损失。
法律建议：
- 收集证据：首先，您需要收集所有能证明土地归属您的证据，如土地使用权证书、相关协议、历史记录等。
- 沟通协商：尝试与对方进行沟通，了解其主张的依据，看是否能通过协商解决问题。
- 法律途径：如果协商无果，且对方的行为确实侵害了您的权益，您可以考虑向当地土地管理部门投诉，或者通过法律诉讼来维护自己的权益。
可能后果：
- 如果对方的行为被认定为侵权，可能需要承担停止侵害、恢复原状、赔偿损失等民事责任。
- 如果对方的行为构成诽谤或侮辱等，且情节严重，可能还涉及刑事责任（但这种情况较为少见，且需要具体证据支持）。
总之，对方声称土地是他们家的这一行为本身不一定犯法，但具体是否违法需根据实际情况判断。如果您遇到此类问题，建议先收集证据，然后尝试与对方沟通协商，如果无法解决，再考虑通过法律途径来维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。