您好，非常理解您现在遇到的困扰。当催收人员找到您以前的单位时，这确实可能会给您带来一些不便和压力。不过，根据中国银行业协会发布的《金融机构个人消费类贷款催收工作指引(试行)》中的相关规定，我可以为您详细解释一下这种情况下的应对措施和您的权益。
首先，催收时间有严格限制。根据《指引》，未经债务人同意，严禁在每日晚22:00至次日早8:00进行电话催收、外访催收及其他催收行为。这意味着，如果催收人员在这个时间段内联系您或您的单位，这是不合规的，您有权拒绝并可以向相关机构投诉。
其次，联系第三人有明确规定。《指引》将第三人严格区分为“债务相关第三人”和“债务无关第三人”。原则上，严禁对无关第三人进行催收。仅在债务人本人失联的特定情形下，如手机号码无效、连续三次或三日无法接通，方可联系无关第三人以获取债务人联系方式或请求转告，且严禁透露具体债务信息。如果无关第三人明确要求不得联系，则必须停止后续联系行为。因此，如果催收人员找到您以前的单位（假设单位与您的债务无关），并且单位明确表示不希望被联系，那么催收人员应该停止这种行为。
再者，催收行为有禁止红线。《指引》明确了八项催收禁止行为，包括但不限于通过散布他人隐私、非法获取个人信息，采用恐吓、辱骂、欺诈、威胁、暴力、涉黑等不当手段开展催收。如果催收人员在联系您以前的单位时使用了这些不当手段，您有权向相关机构投诉并寻求法律保护。
针对您目前的情况，我建议您采取以下措施：
与催收人员沟通：首先，您可以尝试与催收人员沟通，明确告知他们您不希望他们联系您以前的单位，并要求他们遵守相关法律法规和《指引》的规定。
向单位说明情况：如果催收人员仍然联系您的单位，您可以向单位说明情况，并请求单位协助您处理此事。单位可以明确告知催收人员不得再联系，并保留相关证据以备后续需要。
向相关机构投诉：如果催收人员的行为违反了相关法律法规或《指引》的规定，您可以向相关机构（如银行业协会、银保监会等）投诉，并寻求他们的帮助和支持。
寻求法律帮助：如果催收人员的行为给您造成了严重的困扰或损失，您可以考虑寻求法律帮助，通过法律途径维护自己的合法权益。
希望这些建议能对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。