若银行人员未经允许到你的工作场所，可能涉及侵犯个人隐私或工作场所秩序问题，你可以根据具体情况采取以下措施：

1. 保持冷静，了解来意
   首先，不要惊慌或情绪化。可以礼貌地询问银行人员的来意，确认其身份（如工作证、授权文件等）以及来访目的。若对方是因债务催收、贷款核实等合法业务而来，需进一步判断其行为是否合规。

2. 区分行为性质

   • 合法催收：若银行人员因你或你所在单位的债务问题（如单位贷款、个人担保等）合法催收，需核实其权限和方式。根据《商业银行信用卡业务监督管理办法》等规定，催收不得干扰他人正常工作生活，不得向无关第三方透露债务信息。若其行为越界（如大声喧哗、威胁、泄露隐私），可明确制止并要求其离开。
     
   • 非法骚扰：若对方无合法依据（如误认债务人、恶意骚扰），或采取威胁、辱骂、纠缠等手段，可能涉嫌侵犯隐私权、名誉权或违反《治安管理处罚法》。此时应果断要求其离开，并保留证据（如录音、录像、证人证言）。

3. 采取应对措施

   • 要求离开并警告：若对方行为不当，可严肃告知其“这是私人工作场所，未经允许不得逗留或干扰工作”，并要求其立即离开。若对方拒不配合，可联系单位安保人员或报警。
     
   • 联系单位管理层：向直属领导或单位行政部门报告情况，由单位出面协调或采取措施（如禁止其进入、协助报警）。
     
   • 报警处理：若对方行为已构成威胁或骚扰（如尾随、恐吓），可直接拨打110报警，并强调“有人非法侵入工作场所并干扰正常秩序”。警方到场后，要求对方出示身份证明及来访依据，若无法提供合法理由，可追究其责任。
     
   • 投诉或起诉：若银行人员行为严重侵权（如泄露隐私、造成名誉损害），可向银行总部投诉（要求书面答复），或向法院提起民事诉讼，主张赔偿精神损失等。

4. 后续注意事项

   • 保留证据：全程记录对方行为（如录音、录像、拍照），保存相关文件（如催收通知、工作证复印件）。
     
   • 核实债务信息：若涉及债务问题，需通过银行官方渠道（如客服电话、官网）核实债务真实性及催收合法性，避免被虚假催收欺骗。
     
   • 法律咨询：若情况复杂或涉及较大权益损害，可进一步向我咨询具体法律程序（如投诉流程、诉讼准备）。

总结：银行人员未经允许进入工作场所，需根据其行为性质区分处理。合法业务应要求其规范行为，非法骚扰则果断制止并保留证据，必要时通过单位或警方介入。若权益受损，可依法维权。