您好，非常理解您现在的困扰和担忧。老板要求拿工人的卡并且还要密码，这是一个涉及个人隐私和财产安全的重要问题，必须谨慎对待。
首先，我要明确告诉您，绝对不应该将银行卡及其密码交给任何人，包括您的老板。银行卡和密码是个人财产安全的重要保障，一旦泄露，可能会面临资金被盗刷、个人信息被滥用等严重风险。
接下来，我建议您采取以下措施来保护自己的权益和安全：
坚决拒绝：明确告诉老板，您不能也不会将银行卡及其密码交给他。这是您的个人隐私和财产安全，不容侵犯。
了解原因：如果老板有合理的理由需要您提供某些信息或协助，您可以询问具体原因，并尝试通过其他合法、安全的方式提供帮助。但绝对不能涉及银行卡和密码。
保护个人信息：除了银行卡和密码外，还要注意保护其他个人信息，如身份证号、手机号、验证码等。这些信息同样可能被不法分子利用进行诈骗或盗刷。
设置SIM卡密码（PIN码）：虽然这与银行卡密码不同，但同样重要。SIM卡密码可以防止手机丢失后，不法分子通过“手机号+验证码”的方式获取您的个人信息和财产。您可以按照手机设置中的提示，为SIM卡设置一个四位数的PIN码。
及时报警或寻求帮助：如果老板坚持要求您提供银行卡和密码，或者您已经感到自己的安全受到威胁，请立即报警或向相关部门寻求帮助。
最后，我想强调的是，保护个人隐私和财产安全是每个人的基本权利。在任何情况下，都不应该为了迎合他人或避免冲突而牺牲自己的安全和权益。希望您能够坚定立场，保护好自己的银行卡和密码，同时也注意保护其他个人信息的安全。