结论前置：银行无权仅因您弟弟欠款且声称“档案在一起”，就调走您的档案。这一行为缺乏法律依据，且可能侵犯您的个人隐私权。
法律分析
档案调取的法律依据：
- 档案的调取通常需要严格的法律程序和明确的法律依据。在一般情况下，银行或其他金融机构无权随意调取与债务无关的第三方的档案。
- 档案的调取往往与特定的法律程序（如诉讼、执行等）相关联，且需要法院或其他有权机关的授权。
个人隐私权的保护：
- 根据相关法律法规，每个人的个人隐私权都受到严格保护。这包括个人的档案信息、通信秘密等。
- 银行或其他机构未经合法程序，不得擅自获取、使用或泄露他人的个人信息。
银行行为的合法性：
- 银行作为金融机构，其催收行为应当遵循法律法规的规定，不得侵犯债务人的合法权益，更不得侵犯与债务无关的第三方的权益。
- 如果银行声称“档案在一起”并试图调走您的档案，这很可能是一种不合法或至少是不恰当的行为。您有权要求银行提供合法的调取档案的依据，并拒绝其无理要求。
应对建议
要求银行提供合法依据：
- 当银行提出调取您档案的要求时，您应当要求其提供明确的法律依据和合法的调取程序。
- 如果银行无法提供，您有权拒绝其要求，并告知其您的档案受法律保护，不得随意调取。
保护个人隐私权：
- 您应当积极保护自己的个人隐私权，不轻易向他人透露个人信息。
- 如果发现银行或其他机构未经授权获取、使用或泄露了您的个人信息，您应当及时向相关部门投诉或寻求法律帮助。
咨询专业律师（虽然此处不直接提及，但作为律师的我可以为您提供帮助）：
- 如果您对银行的行为感到困惑或担忧，或者认为自己的权益受到了侵犯，您可以向我咨询。我会根据您的具体情况，为您提供专业的法律意见和帮助。
可能的法律后果
- 如果银行未经合法程序擅自调取您的档案，这可能构成对您的个人隐私权的侵犯。您有权要求银行停止侵权行为，并可能要求其承担相应的法律责任（如赔偿损失、赔礼道歉等）。
- 在极端情况下，如果银行的行为构成犯罪（如非法获取公民个人信息罪等），您还可以向公安机关报案，要求追究其刑事责任。
总结：银行无权仅因您弟弟欠款就调走您的档案。您应当积极保护自己的个人隐私权，并在必要时寻求法律帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。