针对您遇到的催收人员联系您家人并去您妻子单位的情况，这确实是一种不恰当且可能违法的催收行为。以下是我为您提供的详细应对建议：

一、明确法律权益

首先，您需要明确自己的法律权益。根据相关法律法规和互联网金融逾期债务催收自律公约，催收人员不得骚扰与债务无关的人员，包括您的家人和妻子单位的同事。他们不得向债务人外的其他人员透露债务人负债、逾期、违约等个人信息，除非这些人是借款人办理贷款时登记的紧急联系人。

二、与催收方沟通

1. 尝试沟通：您可以先尝试与催收方进行沟通，明确告知他们其行为已经违法，并要求他们立即停止对您的家人和妻子单位的骚扰。
2. 保留证据：在沟通过程中，务必保留好相关证据，如通话记录、短信内容等，以备后续需要。

三、采取法律措施

1. 报警处理：如果沟通无果，您可以向当地公安机关报警，说明催收人员骚扰您家人和妻子单位的情况，并提供相关证据。根据《中华人民共和国治安管理处罚法》的相关规定，这种行为可能会受到处罚。
2. 向法院起诉：如果催收行为给您和您的家人造成了严重的精神损害或经济损失，您还可以考虑向法院提起诉讼，要求催收方承担相应的法律责任。

四、向监管部门投诉

1. 金融监管部门：您可以向当地的金融监管部门投诉催收方的违法行为。金融监管部门会对投诉进行调查，并根据调查结果采取相应的监管措施。
2. 中国互联网金融协会：根据互联网金融逾期债务催收自律公约，您还可以通过中国互联网金融协会建设的中国互联网金融举报信息平台进行举报。协会将视情节轻重将违法违规线索分别移交至司法机关、金融监管部门等进行查处。

五、积极与贷款机构协商

在采取上述法律措施的同时，建议您积极与贷款机构进行协商，寻求合理的还款方案。如果您确实无法一次性结清债务，可以尝试申请分期还款或延期还款等方案，以减轻还款压力并避免进一步的催收行为。

六、寻求法律援助

如果您在处理此事过程中遇到困难或需要进一步的法律帮助，可以考虑寻求法律援助。您可以咨询当地的法律援助机构或律师，了解自己的法律权益并获得专业的法律建议。

总之，面对催收人员联系您家人并去您妻子单位的情况，您需要明确自己的法律权益，采取积极的沟通措施，并在必要时采取法律手段来维护自己和家人的合法权益。希望这些建议能对您有所帮助。