催收人员知道你的工作单位后，一般不可以随意联系单位的人。下面我详细为你解释一下：

首先，从法律角度来说，催收人员在催收过程中必须遵守相关法律法规，不得侵犯债务人的合法权益，包括隐私权、名誉权等。如果催收人员未经债务人同意，擅自联系其工作单位并透露债务信息，可能会构成对债务人隐私权的侵犯。

其次，从催收行业的规范来看，催收人员在与债务人沟通时，应当保持专业、礼貌和合法的态度。他们应当通过合法的途径和方式与债务人取得联系，并明确告知自己的身份和催收目的。如果催收人员采取不当手段或方式联系债务人，可能会引发不必要的纠纷和投诉。

当然，也有一些特殊情况需要注意。比如，如果债务人在借款时明确同意了催收人员可以联系其工作单位，或者债务人在逃避催收、无法取得联系的情况下，催收人员可能会根据相关法律法规和合同约定，采取一些必要的措施来寻找债务人。但这种情况下，催收人员也必须严格遵守法律法规和行业规范，不得侵犯债务人的合法权益。

综上所述，催收人员知道你的工作单位后，一般不可以随意联系单位的人。如果催收人员有不当行为，你可以向相关部门投诉或寻求法律援助。同时，我也建议你与催收人员保持沟通，明确告知他们你的还款意愿和计划，以避免不必要的纠纷和麻烦。