结论：扣留跟你借钱的人的身份证是违法的。

法律分析：

1. 居民身份证的法律地位：

   • 根据《中华人民共和国居民身份证法》的相关规定，居民身份证是公民证明身份的法定证件，具有极高的法律地位。它不仅是公民个人身份的重要标识，也是公民行使各项权利、履行各项义务的重要凭证。

2. 擅自扣押身份证的违法性：

   • 同样依据《中华人民共和国居民身份证法》，任何组织或者个人不得扣押居民身份证，除非公安机关依照《中华人民共和国刑事诉讼法》执行监视居住强制措施的情形。这意味着，在一般的债务纠纷中，债权人没有合法依据扣押债务人的身份证，这种行为构成违法。
   • 擅自扣押身份证可能面临被罚款或拘留等行政处罚。具体来说，根据《中华人民共和国居民身份证法》第十六条，非法扣押他人居民身份证的，由公安机关给予警告，并处二百元以下罚款；有违法所得的，还会被没收违法所得。

3. 可能涉及的刑事责任：

   • 在某些情况下，非法扣押他人身份证的行为还可能触犯《中华人民共和国刑法》中的相关罪名，如非法拘禁罪等。如果债权人在索要欠款过程中，通过暴力手段夺取身份证、限制人身自由或进行人身威胁，则可能涉嫌更严重的违法行为，面临刑事责任的追究。

合法解决途径建议：

• 协商：首先尝试与债务人进行直接沟通，明确欠款事实，协商还款时间、方式等细节。这是最为便捷且成本最低的解决方式。
• 调解：若协商无果，可以寻求第三方调解机构的帮助，如人民调解委员会。在调解机构的主持下，双方可以达成调解协议，以和平方式解决纠纷。
• 诉讼：当其他方式均无法解决问题时，债权人可以向有管辖权的人民法院提起民事诉讼。通过法院的审理和判决，要求债务人履行还款义务。若债务人不履行生效判决，债权人可以在规定时间内申请法院强制执行其名下财产。

总结与提醒：

• 扣留跟你借钱的人的身份证是违法的，不仅可能面临行政处罚，还有可能承担刑事责任。因此，在遇到债务纠纷时，务必保持冷静，选择合法的途径来解决问题。
• 作为债权人，你有权通过合法手段维护自己的权益，但绝不能采取非法手段。如果你在处理债务纠纷过程中遇到任何法律问题或困惑，可以直接向我咨询，我会为你提供专业的法律建议和帮助。