结论：精神病人家不让公卫人员管理是否违法，需根据具体情况判断，一般而言，若公卫人员的管理行为合法且必要，家属无正当理由拒绝可能构成违法或侵权；若管理行为不合法或家属有合理理由拒绝，则可能不违法。

分析如下：

1. 公卫人员管理行为的合法性：

   • 公卫人员对精神病患者的管理，通常基于公共卫生、疾病预防控制或精神卫生相关法律法规的授权。例如，在传染病防控期间，公卫人员有权对特定人群进行健康监测和管理。
   • 若公卫人员的管理行为符合相关法律法规的规定，且是为了保护公共卫生安全或精神病患者的健康权益，那么其管理行为是合法的。

2. 家属拒绝管理的合法性：

   • 家属作为精神病患者的监护人，有责任保护患者的权益，包括隐私权、身体权等。若公卫人员的管理行为侵犯了患者的这些权益，家属有权拒绝。
   • 但同时，家属的拒绝不能是无理的或阻碍公共卫生安全的。例如，在传染病防控期间，若精神病患者是潜在的传染源，家属无正当理由拒绝公卫人员的管理，可能构成违法或侵权。

3. 具体情境下的判断：

   • 合法管理且必要：若公卫人员的管理行为合法且必要，如为了防止精神病患者传播传染病或进行必要的健康监测，家属无正当理由拒绝的，可能构成违法或侵权。此时，公卫人员有权依法采取必要措施，甚至可能寻求法律援助或报警处理。
   • 管理行为不合法或家属有合理理由：若公卫人员的管理行为不合法，如未经授权擅自进入患者住宅或侵犯患者隐私，家属有权拒绝并可以投诉或报警。同样，若家属有合理理由认为公卫人员的管理行为可能对患者造成伤害或侵犯其权益，也有权拒绝。

4. 法律后果：

   • 若家属无正当理由拒绝公卫人员的合法管理行为，可能面临法律责任，如被责令配合管理、赔偿因拒绝管理而造成的损失等。
   • 若公卫人员的管理行为不合法或侵犯了患者的权益，家属可以依法维权，包括投诉、报警或提起诉讼等。

建议：

• 对于家属而言，应了解公卫人员管理行为的合法性和必要性，若认为管理行为不合法或侵犯了患者权益，应及时与公卫人员沟通或寻求法律援助。
• 对于公卫人员而言，应依法进行管理行为，尊重患者的权益和家属的合理诉求，避免引发不必要的法律纠纷。

如有更多关于侵权损害（人格权）或其他法律领域的疑问，可以直接向我咨询。