单位怀疑职工有精神病，并不直接构成名誉侵权，但具体是否构成侵权需根据实际情况判断。以下从不同角度进行分析：
一、名誉侵权的基本构成要件
名誉侵权通常要求具备四个要件：一是行为人实施了侮辱、诽谤等侵害他人名誉权的违法行为；二是该行为造成了受害人社会评价降低的损害事实；三是违法行为与损害事实之间存在因果关系；四是行为人主观上具有过错（包括故意和过失）。
二、单位怀疑职工有精神病是否构成名誉侵权的具体分析
行为性质：
- 单位怀疑职工有精神病，本身并不直接等同于侮辱或诽谤。侮辱通常指故意以暴力或其他方法贬低他人人格，毁损他人名誉；诽谤则指故意散布虚构的言论，损害他人名誉。
- 如果单位仅是基于某种观察或推测而提出怀疑，并未公开散布或采取其他贬低职工人格的行为，则可能不构成侮辱或诽谤。
损害事实：
- 即使单位提出了怀疑，也需要证明这种怀疑导致了职工社会评价的降低。社会评价的降低通常表现为他人对职工的不信任、歧视或排斥等。
- 如果单位仅在内部进行讨论或调查，并未将怀疑公开，或者公开后并未引起他人对职工的不利评价，则可能不构成损害事实。
因果关系：
- 需要证明单位的怀疑与职工社会评价降低之间存在直接的因果关系。如果职工社会评价的降低是由其他因素导致的，如职工自身行为不当等，则与单位的怀疑无关。
主观过错：
- 单位在提出怀疑时，如果缺乏合理依据或出于恶意，可能被视为具有过错。但如果单位是基于合理的观察和推测，且出于保护职工或其他合法目的，则可能不具有过错。
三、特殊情况下的名誉侵权
- 如果单位不仅提出怀疑，还采取了一系列贬低职工人格的行为，如公开散布怀疑、对职工进行不公正的待遇等，则可能构成名誉侵权。
- 如果单位的怀疑是基于错误的观察或推测，且这种错误导致了职工社会评价的显著降低，单位也可能需要承担一定的法律责任。
四、法律建议
- 对于单位：在提出对职工的怀疑时，应确保有合理的依据和目的，避免公开散布未经证实的怀疑，以免对职工造成不必要的损害。
- 对于职工：如果认为单位的怀疑构成了名誉侵权，可以收集相关证据，如单位内部的讨论记录、公开散布的言论等，并咨询专业律师以维护自己的合法权益。
总结来说，单位怀疑职工有精神病并不直接构成名誉侵权，但具体是否构成侵权需根据实际情况判断。如果单位的怀疑导致了职工社会评价的降低，且这种降低与单位的怀疑之间存在直接的因果关系，同时单位在提出怀疑时具有过错，则可能构成名誉侵权。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。