结论：您可以要求对方恢复原状，挖地的人确实需要承担相应的责任。以下从法律角度为您详细分析：
一、法律背景与依据
根据《中华人民共和国民法典》的相关规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。如果一方在行使权利时，给相邻方造成了妨碍或者损失，应当停止侵害，排除妨碍，赔偿损失。在您所描述的情况中，别家主人在自己地里挖地，但这一行为已经威胁到了您家的安全，这明显违反了相邻关系的处理原则。
二、对方行为的责任分析
恢复原状的责任：
- 由于对方挖地的行为已经对您的安全构成了威胁，您有权要求对方停止挖地行为，并恢复原状，以消除对您家的安全隐患。这是基于相邻关系中“不得危及相邻不动产的安全”的原则。
赔偿损失的责任：
- 如果对方挖地的行为已经导致了您家的实际损失，比如房屋出现裂缝、地基下沉等，您还有权要求对方赔偿因此造成的损失。这包括直接损失（如修复费用）和间接损失（如因房屋损坏导致的居住不便等）。
三、建议采取的措施
与对方协商：
- 首先，您可以尝试与对方进行友好协商，说明其行为对您家造成的威胁和不便，要求对方停止挖地行为，并恢复原状。如果对方同意，可以签订书面协议，明确双方的权利和义务。
寻求第三方调解：
- 如果协商无果，您可以考虑寻求第三方调解，比如村委会、居委会或者人民调解委员会等。这些机构可以提供中立的调解服务，帮助双方达成和解。
提起诉讼：
- 如果调解也无果，您可以向人民法院提起诉讼，要求对方停止侵害、恢复原状并赔偿损失。在诉讼过程中，您需要提供充分的证据证明对方的行为确实对您家造成了威胁和损失。
四、注意事项
- 在采取任何行动之前，建议您先收集相关证据，比如现场照片、视频、证人证言等，以证明对方的行为确实存在且对您家造成了威胁。
- 如果您对法律程序不熟悉或者担心自己无法有效维护自己的权益，可以考虑聘请一位专业律师协助您处理此事。
作为吕柳玲律师，我专注于离婚、债权债务、律师会见、交通事故赔偿、侵权纠纷等领域。如果您有任何法律问题或者需要进一步的法律帮助，请直接向我咨询。