结论：面对对方到你单位故意骚扰并声称你与其老婆出轨，已经影响到工作的情况，你可以从法律维权、单位沟通、收集证据、报警处理等多个角度来应对。

1. 法律维权角度：

   • 首先，要明确的是，对方的行为可能构成对你名誉权的侵犯。如果对方散布的是不实信息，且这些信息对你的社会评价造成了负面影响，你有权依据《中华人民共和国民法典》中关于名誉权的规定，要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
   • 若对方的行为情节严重，比如多次骚扰、造成你严重精神损害等，还可能触犯《中华人民共和国刑法》中关于侮辱罪、诽谤罪的规定，你可以考虑向公安机关报案，追究对方的刑事责任。

2. 单位沟通角度：

   • 你可以及时与单位的人力资源部门或上级领导沟通，说明情况，请求单位协助处理。单位有责任维护员工的正常工作环境，可以采取措施如禁止对方进入单位、对对方进行警告等，以减少对你的工作影响。
   • 同时，你也可以请求单位出具相关证明，证明对方的行为已经干扰了你的正常工作，这在后续可能的法律维权中可能作为有力证据。

3. 收集证据角度：

   • 在应对此类情况时，收集证据至关重要。你可以保存对方骚扰你的聊天记录、短信、邮件等书面证据；如果有目击者，也可以请他们出具证人证言；还可以考虑录制视频或音频，记录对方骚扰你的过程。
   • 这些证据在后续的法律维权中将起到关键作用，有助于证明对方的行为确实存在，且对你造成了损害。

4. 报警处理角度：

   • 如果对方的行为已经严重干扰了你的正常生活和工作，甚至对你的人身安全构成了威胁，你可以立即向公安机关报案。
   • 公安机关会根据具体情况进行调查处理，如果对方的行为构成违法或犯罪，将依法给予相应的处罚。

后续行动建议：

• 在应对此类情况时，保持冷静和理智至关重要。不要与对方发生直接冲突，以免事态升级。
• 及时咨询专业律师（即我），根据你的具体情况制定合适的应对策略。
• 密切关注事态发展，根据实际情况调整应对策略。

如果有任何进一步的疑问或需要具体的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。