面对催收人员非要到紧急联系人单位的情况，您首先需要明确的是，这种行为可能涉及侵犯隐私和不当催收，您有权采取措施进行应对和保护自己及紧急联系人的合法权益。以下是从不同角度为您详细分析并给出的建议：
一、催收行为的合法性分析
隐私权保护：根据《中华人民共和国民法典》的相关规定，自然人的个人信息受法律保护，任何组织或者个人不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。催收人员未经您或紧急联系人的同意，擅自到其单位进行催收，可能构成对隐私权的侵犯。
不当催收行为：如果催收人员在催收过程中采取恐吓、威胁、骚扰等不当手段，还可能违反《中华人民共和国治安管理处罚法》的相关规定，甚至可能构成犯罪，如寻衅滋事罪等。
二、应对措施
与催收人员沟通：
- 明确拒绝：首先，您可以尝试与催收人员沟通，明确告知其您的立场，即不同意他们到紧急联系人的单位进行催收。
- 要求合法催收：要求催收人员通过合法、合规的方式进行催收，如通过电话、短信或邮件等联系您本人，而不是骚扰您的紧急联系人。
向相关机构投诉：
- 向贷款机构投诉：如果催收人员是受贷款机构委托进行催收的，您可以向贷款机构投诉催收人员的不当行为，要求贷款机构采取措施制止。
- 向监管部门投诉：如果贷款机构未能有效处理您的投诉，或者催收行为持续存在且严重影响到您的生活和工作，您可以向相关的金融监管部门（如银保监会）或消费者权益保护机构进行投诉。
寻求法律帮助：
- 咨询律师：如果催收行为已经严重侵犯了您的合法权益，您可以咨询专业律师，了解您的法律权益和可能的维权途径。
- 提起诉讼：在必要时，您可以考虑向法院提起诉讼，要求催收人员或贷款机构承担相应的法律责任。
三、预防措施
- 保护个人信息：在未来的贷款或信用卡申请过程中，注意保护自己的个人信息，避免将紧急联系人的信息泄露给不必要的第三方。
- 了解贷款条款：在签订贷款合同前，仔细阅读合同条款，了解贷款机构在催收方面的规定和限制，以便在出现问题时能够及时应对。
最后，我想强调的是，面对不当催收行为，您有权保护自己和紧急联系人的合法权益。不要因为害怕或担心而选择沉默或妥协，而是应该积极采取措施进行应对和维权。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。