公卫人员去人家里面访问，在一般情况下并不违法。但这一行为是否合法，需结合具体情境和法律法规来判断。
合法访问的情形：
- 公卫人员，如疾病预防控制机构、卫生监督机构的工作人员，在履行其职责时，如进行疾病防控、卫生监督等，有权进入相关场所进行访问和调查。
- 在某些公共卫生事件或紧急情况下，如疫情爆发时，公卫人员可能需要进行入户访问，以了解疫情情况、进行健康监测等，这是合法且必要的。
可能违法的情形：
- 如果公卫人员在没有法律依据或未经授权的情况下，擅自进入他人住宅进行访问，则可能构成侵犯他人住宅权的行为，这是违法的。
- 如果公卫人员在访问过程中，超出了其职责范围，或者采取了不当手段，如威胁、恐吓等，也可能构成违法行为。
法律依据：
- 《中华人民共和国传染病防治法》等法律法规赋予了公卫人员在特定情况下进入相关场所进行调查和防控的权力。
- 《中华人民共和国宪法》等法律也保护公民的住宅权不受侵犯。
综上所述，公卫人员去人家里面访问是否违法，取决于其访问的法律依据、目的、方式和手段等因素。在合法的情况下，公卫人员有权进行访问；但在未经授权或超出职责范围的情况下，则可能构成违法行为。如果你对具体情况有疑问或担忧，建议咨询当地卫生行政部门或专业律师以获取更准确的法律意见。