您不用担心，一般情况下，贷款机构不会仅凭您已签署的贷款协议、提供的身份证和银行卡信息，就在您不知情或不同意的情况下擅自放贷。以下是从不同角度对此问题的详细分析：

一、法律角度

1. 合同生效条件：贷款协议虽然已经签署，但合同的生效往往还需要满足其他条件，如贷款机构的内部审批、您的信用评估等。如果这些条件未满足，合同可能并未真正生效，贷款机构也就无权擅自放贷。

2. 身份证和银行卡的使用：身份证和银行卡是您的个人重要证件，贷款机构在未经您明确同意的情况下，无权使用这些信息进行贷款操作。如果贷款机构擅自使用，将可能构成违法行为，如侵犯公民个人信息罪等。

3. 贷款机构的合规性：正规的贷款机构都会遵守相关法律法规，不会擅自使用客户的个人信息进行贷款操作。如果贷款机构存在违规行为，您有权向相关部门投诉并维护自己的合法权益。

二、实际操作角度

1. 贷款流程：在正规的贷款流程中，即使您已经签署了贷款协议，贷款机构在放贷前通常还会与您进行确认，如通过电话、短信或邮件等方式通知您贷款即将发放，并询问您是否同意。如果您表示不同意，贷款机构通常会停止放贷流程。

2. 风险控制：贷款机构为了控制风险，也会对贷款申请进行严格的审核。如果审核过程中发现任何问题或疑点，贷款机构可能会拒绝放贷或要求您提供更多的资料进行核实。

三、您的权益保护

1. 及时沟通：如果您在签署贷款协议后决定不贷款了，建议您及时与贷款机构沟通，明确表达您的意愿。这样可以帮助贷款机构及时停止相关流程，避免不必要的麻烦。

2. 保留证据：在与贷款机构沟通的过程中，建议您保留好相关的证据，如沟通记录、邮件等。这些证据在后续可能出现的纠纷中将成为您维护自己权益的重要依据。

3. 法律途径：如果贷款机构擅自使用您的身份证和银行卡信息进行贷款操作，您有权通过法律途径维护自己的合法权益。您可以向公安机关报案，或者向法院提起诉讼，要求贷款机构承担相应的法律责任。

建议您：在处理此类问题时，保持冷静和理性，及时与贷款机构沟通并明确表达自己的意愿。同时，也要保留好相关的证据，以便在需要时维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，可以直接向我咨询。