催收没有通知你而直接去单位，这种行为可能涉及侵犯你的隐私权和工作权益，你可以采取以下措施来应对：
了解相关法律法规：
- 根据《中华人民共和国民法典》中关于隐私权的规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。催收人员未经你同意直接去单位，可能泄露了你的债务情况，侵犯了你的隐私权。
- 同时，如果催收行为干扰了你的正常工作秩序，还可能违反《中华人民共和国治安管理处罚法》中关于扰乱单位秩序的规定。
与催收人员沟通：
- 首先，你可以尝试与催收人员沟通，明确告知他们你的联系方式，并要求他们以后通过合法、合规的方式与你联系，如电话、邮件等，而不是直接去单位。
- 在沟通时，保持冷静和理性，避免与催收人员发生冲突。
向单位说明情况：
- 如果催收人员已经去了你的单位，你可以及时向单位的相关部门或领导说明情况，避免单位对你的误解或产生不必要的麻烦。
- 同时，你可以请求单位协助你处理此事，如要求催收人员离开单位或限制其进入。
收集证据并投诉：
- 如果催收人员的行为给你造成了困扰或损失，你可以收集相关证据，如催收人员的名片、录音、录像等，以证明他们的不当行为。
- 然后，你可以向当地的消费者权益保护机构、银保监会或公安机关投诉，要求他们介入调查并处理此事。
考虑法律途径：
- 如果催收人员的行为严重侵犯了你的权益，如泄露你的隐私、骚扰你的工作等，你可以考虑通过法律途径来维护自己的权益。
- 你可以咨询专业律师（比如我，李远祥律师，专注于经济纠纷、刑事辩护领域），了解具体的法律程序和可能的赔偿方式。
在处理此类问题时，你还需要注意以下几点：
- 保持冷静：不要因为催收人员的行为而情绪激动或做出过激反应，这可能会加剧矛盾或给自己带来不必要的麻烦。
- 保护个人信息：在与催收人员沟通时，注意保护自己的个人信息和隐私，避免泄露过多敏感信息。
- 及时咨询：如果你对催收人员的行为或相关法律法规有疑问，及时咨询专业律师（比如我），以获取准确的法律意见和帮助。
最后，我想强调的是，虽然债务需要偿还，但催收行为也必须合法、合规。如果催收人员违反了相关法律法规或侵犯了你的权益，你有权采取措施来维护自己的合法权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。