结论：对方在跟您要钱的过程中恐吓您的家人，这种行为是违法的，可能涉及多种违法行为，您有权采取相应的法律措施来维护自己和家人的合法权益。

详细分析：

1. 恐吓行为的违法性：

   • 恐吓行为，特别是当它涉及到对他人人身安全或财产安全的威胁时，通常被视为违法行为。在我国法律体系中，这种行为可能违反《治安管理处罚法》的相关规定，如第四十二条，该条款明确禁止写恐吓信或者以其他方法威胁他人人身安全的行为，并规定了相应的处罚措施，如五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。

2. 恐吓行为可能构成的犯罪：

   • 如果恐吓行为情节严重，如多次恐吓、恐吓手段恶劣、造成严重后果等，还可能构成犯罪，如寻衅滋事罪或敲诈勒索罪等。这需要根据具体案情和证据来判断，并由司法机关依法进行认定。

3. 您的权利与应对措施：

   • 报警：您有权向公安机关报案，要求对方停止恐吓行为，并依法对其进行处罚。公安机关会根据案情进行调查，并根据调查结果采取相应的法律措施。
   • 收集证据：在报案前或报案过程中，您应尽可能收集相关证据，如恐吓信息、通话记录、证人证言等，以便在需要时提供给公安机关或法院作为证据。
   • 寻求法律援助：如果您在处理此事过程中遇到法律难题或需要进一步的法律帮助，可以向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。

4. 债务纠纷的合法解决途径：

   • 对方虽然有权要求您偿还债务，但必须通过合法途径进行。如果双方无法就债务问题达成一致，可以通过协商、调解、仲裁或诉讼等合法方式解决。
   • 在此过程中，您应积极配合，提供必要的证据和信息，以便尽快解决债务纠纷。同时，您也有权要求对方尊重您和家人的合法权益，不得采取任何非法手段进行威胁或恐吓。

建议：

• 面对此类情况，首先要保持冷静，不要与对方发生直接冲突。
• 及时收集并保存相关证据，以便在需要时提供给公安机关或法院。
• 尽快向公安机关报案，并寻求专业的法律帮助，以确保自己和家人的合法权益得到保护。

如果您在处理此事过程中遇到任何法律问题或需要进一步的帮助，请随时向我咨询。