结论：身份证被劳务派遣工拿着不给，若您选择不要了，他们拿着确实可能存在一定危害，但具体危害程度取决于他们如何使用您的身份证。不过，无论危害大小，您都应积极采取措施追回身份证或确保其不被滥用，以保护自己的合法权益。
分析说明：
身份盗用的风险：
- 身份证是个人身份的重要证明文件，包含了个人的基本信息，如姓名、性别、出生日期、住址、身份证号码等。
- 如果劳务派遣工持有您的身份证，并恶意使用，如进行金融交易、注册公司、签订合同等，可能会给您带来经济损失或法律纠纷。
- 例如，他们可能用您的身份证办理信用卡并透支消费，导致您需要承担还款责任；或者用您的身份证注册公司，使您成为公司的法定代表人或股东，从而卷入公司的法律纠纷中。
个人信息泄露的风险：
- 身份证上的信息属于个人隐私，如果被不法分子获取，可能会被用于非法活动，如诈骗、敲诈勒索等。
- 劳务派遣工如果将您的身份证信息泄露给第三方，或者利用您的信息进行不法活动，都会给您带来不必要的麻烦和损失。
法律责任的风险：
- 如果劳务派遣工使用您的身份证进行违法活动，如伪造证件、冒名顶替等，您可能会因为身份证被滥用而卷入法律纠纷中。
- 在某些情况下，即使您没有直接参与违法活动，但因为身份证被滥用，您也可能需要承担一定的法律责任或面临法律调查。
法律建议：
尽快追回身份证：
- 您应尽快与劳务派遣工沟通，要求其归还您的身份证。如果沟通无果，您可以考虑向相关部门（如劳务派遣公司、劳动监察部门等）投诉或寻求帮助。
- 如果身份证确实无法追回，您应立即到公安机关办理身份证挂失手续，并补办新的身份证。
关注身份证使用情况：
- 在身份证挂失后，您应密切关注自己的银行账户、信用记录等，确保没有异常交易或记录。
- 如果发现身份证被滥用或存在异常情况，您应立即向公安机关报案，并配合调查工作。
加强个人信息保护：
- 在日常生活中，您应加强对自己个人信息的保护意识，不要随意将身份证等重要证件交给他人保管或使用。
- 如果需要提供身份证复印件或扫描件等，您应在复印件或扫描件上注明用途和有效期，并妥善保管原件和复印件。
后续行动：
- 如果您已经发现身份证被滥用或存在异常情况，请立即向公安机关报案，并咨询我以获取更具体的法律建议和帮助。
- 在处理此类问题时，请保持冷静和理性，不要采取过激或违法的行为来解决问题。
特殊场景：
- 如果劳务派遣工是您的同事或熟人，且您相信他们不会恶意使用您的身份证，但出于某种原因他们暂时无法归还（如丢失、遗忘等），您可以与他们协商一个合理的归还时间，并在此期间密切关注身份证的使用情况。但即便如此，也建议您尽快补办新的身份证以降低风险。