您好，非常理解您对于用人单位留下您的殊疾证这一行为的困惑和担忧。首先，我要明确告诉您，任何单位和个人都没有权利扣留他人证件原件，这是由《中华人民共和国劳动合同法》明确规定的。用人单位在招用劳动者时，不得扣押劳动者的居民身份证和其他证件，这包括殊疾证等任何个人证件。
针对您的情况，用人单位表示“要用的时就给还”，这种说法并不合理且存在风险。证件是您的个人财产，也是您身份和权益的重要证明，应该由您自己保管。用人单位没有理由，也没有权力长时间扣留您的证件。即使他们声称是为了“使用”，这也可能只是借口，实际上可能存在滥用或不当使用的风险。
此外，如果用人单位真的需要查看或使用您的殊疾证，他们完全可以在需要的时候要求您出示，或者您提供复印件并注明用途，而无需扣留原件。这样既能满足用人单位的需求，又能保障您的权益不受侵害。
我建议您采取以下措施：
与用人单位沟通：明确告知他们扣留证件是违法的，要求他们立即归还您的殊疾证。
保留证据：如果用人单位拒绝归还，您可以保留相关证据，如聊天记录、邮件等，以备后续维权之需。
向劳动监察部门举报：如果用人单位仍然坚持扣留您的证件，您可以向当地的劳动监察部门举报，他们会依法进行调查和处理。
寻求法律援助：如果您在维权过程中遇到困难或需要法律帮助，可以寻求专业的法律援助机构或律师的协助。
总之，保护个人证件的安全和权益是每个人的责任。希望您能够采取合适的措施，维护自己的合法权益。如果您还有其他问题或需要进一步的帮助，请随时告诉我。