结论：银行是否需要负责任，取决于具体情况，包括银行工作人员的行为性质、银行的管理责任以及用户自身的过错程度等。以下从不同角度进行分析：
银行工作人员的违法行为
- 如果银行工作人员未经用户同意，擅自将用户账户内的资金转走，这明显属于违法行为，可能构成盗窃、职务侵占等犯罪。在此情况下，银行作为用人单位，对于其工作人员的违法行为，通常需要承担一定的管理责任。用户有权要求银行赔偿因此造成的损失。
- 法律依据：根据《中华人民共和国民法典》的相关规定，用人单位的工作人员因执行工作任务造成他人损害的，由用人单位承担侵权责任。如果银行工作人员的行为超出其职权范围，且银行未尽到管理职责，银行仍可能因管理过失而承担相应责任。
银行的管理责任
- 银行有义务保障用户资金的安全，包括采取必要的技术措施和管理措施，防止用户资金被非法转走。如果银行在管理上存在漏洞或疏忽，导致用户资金被转走，银行应当承担相应的赔偿责任。
- 举例：如果银行的安全系统存在漏洞，使得工作人员能够轻易绕过安全验证程序转走用户资金，那么银行显然未尽到其管理责任，应当承担赔偿责任。
用户自身的过错
- 如果用户自身存在过错，如将账户密码、身份证等重要信息泄露给银行工作人员，或者未妥善保管自己的账户信息，导致资金被转走，那么用户可能需要承担一定的责任。
- 具体分析：在你提到的情况中，你并没有把单子和身份证给工作人员，这表明你在一定程度上尽到了保管自己账户信息的责任。然而，如果银行工作人员通过其他手段（如伪造你的签名、利用银行系统漏洞等）转走了你的资金，那么这仍然属于银行的过错，银行应当承担责任。
特殊情况下的责任划分
- 如果银行工作人员的行为构成犯罪，且银行能够证明其已尽到管理职责，且用户自身也存在一定过错（如未及时挂失、未妥善保管账户信息等），那么责任划分可能会更加复杂。在这种情况下，可能需要通过法律程序来确定银行和用户各自应承担的责任比例。
建议：
- 如果你发现银行工作人员未经你同意转走了你的资金，应立即向银行提出异议，并要求银行进行调查和处理。
- 同时，你也可以向当地银保监会等监管机构投诉，以维护自己的合法权益。
- 如果银行拒绝承担责任或处理不当，你可以考虑通过法律途径解决争议，如向法院提起诉讼等。
后续行动：
- 在处理此类纠纷时，建议你保留好所有相关证据，如银行交易记录、与银行工作人员的沟通记录等，以便在需要时提供证明。
- 如果你对法律程序不熟悉或担心自己的权益得不到保障，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。