对方持有您全家的身份证号，这一行为本身并不直接构成犯罪，但可能涉及侵犯公民个人信息权，并存在潜在的法律风险。以下从不同角度为您详细分析：
法律性质与风险：
- 侵犯公民个人信息权：根据《中华人民共和国民法典》的相关规定，自然人的个人信息受法律保护。身份证号作为个人敏感信息，受到严格保护。对方未经您及您家人的同意，擅自获取并持有这些信息，可能构成对公民个人信息权的侵犯。
- 潜在的法律风险：虽然持有身份证号本身不直接构成犯罪，但如果对方利用这些信息进行非法活动，如诈骗、冒名顶替等，那么持有者可能因知情不报或协助犯罪而承担法律责任。此外，如果对方将身份证号泄露给第三方，导致您或您家人的权益受损，持有者也可能面临民事赔偿等法律责任。
可能的法律后果：
- 民事责任：如果对方的行为导致您或您家人的名誉权、隐私权等受到侵害，您有权要求对方停止侵害、消除影响、赔礼道歉，并可以要求赔偿损失。
- 行政责任：根据《中华人民共和国居民身份证法》等相关法律法规，非法获取、持有或使用他人身份证信息的，可能面临行政处罚，如罚款、拘留等。
- 刑事责任：如果对方利用身份证号进行犯罪活动，如诈骗、洗钱等，那么根据犯罪情节的严重程度，对方可能面临刑事处罚，包括有期徒刑、罚金等。
应对措施与建议：
- 立即采取措施保护个人信息：一旦发现对方持有您全家的身份证号，应立即要求对方删除或归还这些信息，并确保对方不再继续持有或传播。
- 收集证据并报警：如果对方拒绝配合或您怀疑对方可能利用这些信息进行非法活动，应立即收集相关证据（如聊天记录、短信等）并向公安机关报案。
- 咨询专业律师：在处理此类问题时，建议咨询专业律师以获取更具体的法律建议和帮助。律师可以根据您的具体情况，为您提供针对性的法律策略和解决方案。
总结与提醒：对方持有您全家的身份证号是一个需要高度重视的问题。虽然这一行为本身不直接构成犯罪，但可能涉及侵犯公民个人信息权并存在潜在的法律风险。因此，建议您立即采取措施保护个人信息，并在必要时咨询专业律师以获取法律帮助。如果您有任何进一步的法律问题或需要进一步的法律建议，请直接向我咨询。