结论：男人在单位被造黄谣，属于人格权受到侵害的情形，可依法追究侵权人的法律责任。以下从法律背景、法律建议及可能的法律后果三个角度进行详细分析：
法律背景
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、隐私权等人格权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，也不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。
- 在单位被造黄谣，显然是对个人名誉权的侵害，同时也可能涉及隐私权的侵犯，因为黄谣往往包含对个人私生活的无端猜测和诋毁。
劳动法保护：
- 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利、获得劳动安全卫生保护的权利、接受职业技能培训的权利、享受社会保险和福利的权利、提请劳动争议处理的权利以及法律规定的其他劳动权利。
- 在单位被造黄谣，可能构成对劳动者工作环境和心理健康的侵害，劳动者有权要求单位采取措施制止侵权行为，并有权依法追究侵权人的法律责任。
法律建议
收集证据：
- 首先，应尽可能收集造谣的证据，包括但不限于聊天记录、邮件、录音、视频等。这些证据将有助于后续的法律维权。
与单位沟通：
- 向单位的人力资源部门或上级领导反映情况，要求单位采取措施制止侵权行为，并调查处理造谣者。单位有义务维护良好的工作环境，保护员工的合法权益。
报警处理：
- 如果造谣行为严重，构成诽谤罪或侮辱罪等刑事犯罪的，可以向公安机关报案，要求依法追究造谣者的刑事责任。
提起民事诉讼：
- 如果造谣行为给个人造成了名誉损害、精神损害等后果，可以向人民法院提起民事诉讼，要求造谣者承担民事赔偿责任，包括赔偿精神损害抚慰金等。
可能的法律后果
刑事责任：
- 如果造谣行为构成诽谤罪或侮辱罪等刑事犯罪的，造谣者可能面临有期徒刑、拘役、管制或者剥夺政治权利等刑事处罚。
民事责任：
- 造谣者可能需要承担民事赔偿责任，包括赔偿因侵权行为给个人造成的经济损失和精神损害抚慰金等。
单位责任：
- 如果单位未尽到管理职责，导致员工在单位内受到造谣等侵权行为的侵害的，单位也可能需要承担一定的法律责任。
进一步思考：在处理此类事件时，除了依法维权外，还可以考虑通过单位内部的调解机制或第三方调解机构进行调解，以尽快解决纠纷，减少对个人生活和工作的影响。同时，也应加强自我保护意识，避免在公开场合或网络平台上泄露过多个人信息，减少被造谣的风险。
最后，如果你在单位被造黄谣，且不知道如何具体操作或需要进一步的法律帮助，请直接向我咨询，我将根据你的具体情况提供详细的法律建议。