工厂扣押身份证且离职时要求赔钱的行为是违法的，劳动者有权要求返还身份证并拒绝支付不合理的赔偿要求，同时可以采取相应措施维护自身权益。以下从多个角度为你详细分析：
法律背景
根据《中华人民共和国劳动合同法》第九条明确规定：“用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。”这一规定旨在保护劳动者的合法权益，防止用人单位以任何形式侵犯劳动者的个人自由和权利。因此，工厂扣押身份证的行为本身就是违法的，无论离职时是否要求赔钱，都违反了这一法律规定。
应对措施
与用人单位协商：
- 首先，你可以尝试与工厂进行沟通，明确表达要求返还身份证的意愿，并指出扣押身份证是违法行为，要求工厂立即返还。
- 同时，对于工厂提出的赔钱要求，你可以要求工厂提供合理的依据和计算方式，如果无法提供或依据不合理，你有权拒绝支付。
向劳动行政部门投诉：
- 如果协商无果，你可以向当地的劳动行政部门（如人力资源和社会保障局）进行投诉。
- 劳动行政部门将依法对工厂进行调查处理，并要求其限期改正扣押身份证的行为，同时对于不合理的赔钱要求也会进行调查和处理。
申请劳动仲裁或提起诉讼：
- 若劳动行政部门的处理未能解决问题，你可以依法申请劳动仲裁。
- 在仲裁过程中，你需要提供相关证据，如工作合同、工资单、与工厂的沟通记录等，以证明自己的权益受到侵害，特别是要证明工厂扣押身份证和要求不合理赔钱的事实。
- 对仲裁结果不满意的，你还可以向人民法院提起诉讼，通过司法途径维护自己的合法权益。
报警处理：
- 在某些情况下，如果工厂的行为涉嫌犯罪（如非法拘禁、侵犯公民个人信息等），你也可以直接向公安机关报案。
- 公安机关将依法对工厂进行调查处理，并保护你的合法权益。
注意事项
保留证据：
- 在维权过程中，你应尽可能保留相关证据，如工作合同、工资单、与工厂的沟通记录、身份证被扣押的证明等，以便在需要时提供证明。
及时行动：
- 一旦发现身份证被扣押或工厂提出不合理的赔钱要求，你应立即采取行动，避免拖延导致问题复杂化。
了解法律程序：
- 在维权前，你应了解相关的法律程序和规定，以便更好地维护自己的权益。如果你对法律程序不熟悉，可以寻求专业律师的帮助。
可能的法律后果
- 如果工厂被认定扣押身份证和要求不合理赔钱的行为违法，工厂可能需要承担返还身份证、赔偿损失、支付罚款等法律责任。
- 同时，工厂的违法行为还可能受到劳动行政部门的处罚，如警告、罚款等。
综上所述，工厂扣押身份证且离职时要求赔钱的行为是违法的，你有权要求返还身份证并拒绝支付不合理的赔偿要求。如果工厂不配合或处理不当，你可以通过协商、投诉、仲裁或诉讼等途径维护自己的合法权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。