结论：面对催收公司声称要来您单位走访的情况，您不必过于恐慌，但应积极应对。以下是从不同角度为您提供的分析和建议：
一、法律角度分析
催收行为的合法性：
- 催收公司有权进行合法的债务催收，但其行为必须遵守相关法律法规，不得侵犯债务人的合法权益。
- 根据《中华人民共和国民法典》及相关规定，催收过程中不得采用暴力、威胁、恐吓、骚扰等非法手段。
- 若催收公司未经允许擅自进入您的单位进行走访，可能构成对您的隐私权和工作秩序的侵犯。
您的权利：
- 您有权要求催收公司出示合法的债务凭证和催收授权文件。
- 若催收公司行为不当，您有权向相关部门投诉或报警，维护自己的合法权益。
二、应对策略
与催收公司沟通：
- 首先，您可以尝试与催收公司进行沟通，了解债务的具体情况，包括债务金额、还款期限等。
- 明确告知催收公司，您不接受任何非法或不当的催收方式，并要求其停止此类行为。
- 若可能，您可以与催收公司协商制定合理的还款计划，以减轻还款压力。
保护个人隐私和工作秩序：
- 若催收公司坚持要来单位走访，您可以明确告知其您的单位地址和工作时间，但要求其必须遵守单位的规定和秩序。
- 同时，您可以向单位领导或安保部门说明情况，请求他们协助维护工作秩序和您的个人隐私。
寻求法律援助：
- 若催收公司的行为严重侵犯了您的合法权益，如骚扰、恐吓等，您可以考虑寻求法律援助。
- 您可以咨询专业律师（如我），了解具体的法律途径和维权方式。
三、特殊情况考虑
债务是否属于夫妻共同债务：
- 若该网贷债务属于您老公的个人债务，且您并未签字确认或共同使用该笔资金，则您无需承担还款责任。
- 但若该债务被认定为夫妻共同债务（如用于家庭共同生活、生产经营等），则您可能需要承担一定的还款责任。这需要根据具体情况和法律规定来判断。
单位政策与规定：
- 您还需要了解您所在单位对于此类情况的政策和规定。有些单位可能禁止外部人员进入或要求提前预约等。
- 您可以根据单位的规定来与催收公司进行沟通，以维护自己的工作秩序和单位形象。
建议：面对催收公司的走访要求，您应保持冷静和理性，积极与催收公司沟通并了解债务情况。同时，您也要保护好自己的个人隐私和工作秩序，必要时寻求法律援助。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。