如果有人往您的单位打电话反映您出轨，这确实是一个敏感且可能对您个人及职业形象产生负面影响的情况。以下是从不同角度给出的分析和建议：
一、法律角度分析
名誉权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。如果打电话者故意散布不实信息，损害了您的名誉，您有权要求其停止侵害、赔礼道歉，并可以依法追究其法律责任。
隐私权保护：
- 您的私人生活信息属于个人隐私范畴，受到法律保护。未经您同意，他人不得非法收集、使用、加工、传输他人个人信息，也不得非法买卖、提供或者公开他人个人信息。如果打电话者是通过非法手段获取了您的私人信息并进行了传播，您同样可以依法维权。
二、应对策略建议
保持冷静，核实信息：
- 首先，不要急于做出反应，而是保持冷静，核实打电话者的身份和所反映的内容是否属实。如果内容不实，您可以考虑通过法律途径维护自己的权益。
与单位沟通：
- 及时与您的单位沟通，说明情况，避免单位因误解而对您产生不良影响。您可以请求单位协助调查此事，或者要求单位在未经核实的情况下不要对外传播相关信息。
收集证据，准备维权：
- 如果确认打电话者存在恶意诽谤或侵犯隐私的行为，您应开始收集相关证据，如通话记录、短信、邮件等，以便在必要时通过法律途径维权。
考虑报警或起诉：
- 如果情况严重，影响了您的正常生活和工作，您可以考虑向公安机关报案，或者直接向法院提起诉讼，要求侵权者承担相应的法律责任。
三、后续行动建议
加强个人信息保护：
- 今后应更加注意保护自己的个人信息，避免在公共场合或不可信的平台上泄露过多私人信息。
建立正面形象：
- 通过积极的工作表现和正面的社交活动，建立和维护自己的良好形象，以抵消可能因不实信息带来的负面影响。
持续关注并应对：
- 即使此事暂时得到解决，也应持续关注相关动态，防止类似情况再次发生。同时，保持与单位和同事的良好沟通，确保工作环境的和谐稳定。
面对此类情况，关键在于保持冷静、核实信息、及时沟通并依法维权。如果您在此过程中遇到任何法律问题或需要进一步的帮助，请随时向我咨询。我会根据您的具体情况，提供更为详细和专业的法律建议。