针对您前夫到单位影响您工作的问题，首先明确结论：您有权要求前夫停止此类行为，并可通过法律途径维护自身权益。 以下从多个角度为您详细分析：
一、法律背景与依据
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、隐私权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，不得非法收集、使用、加工、传输他人个人信息，不得非法侵入、窥视、泄露他人隐私。
- 您前夫到单位影响您工作，若伴随有侮辱、诽谤或泄露隐私等行为，即构成对您人格权的侵害。
治安管理处罚：
- 根据《中华人民共和国治安管理处罚法》的相关规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 若您前夫的行为扰乱了单位秩序，也可能受到相应的治安管理处罚。
二、法律建议与措施
与前夫沟通：
- 首先，您可以尝试与前夫进行沟通，明确告知其行为已对您的工作和生活造成困扰，要求其停止此类行为。
向单位求助：
- 若沟通无果，您可以向单位领导或人力资源部门反映情况，请求单位协助处理，如加强安保措施、限制前夫进入单位等。
报警处理：
- 若前夫的行为已构成违法，如侮辱、诽谤或扰乱单位秩序等，您可以向公安机关报警，请求依法处理。
提起民事诉讼：
- 若前夫的行为给您造成了名誉损害或经济损失，您还可以向人民法院提起民事诉讼，要求前夫承担侵权责任，如赔偿损失、赔礼道歉等。
三、可能法律后果
行政处罚：
- 若您前夫的行为违反了治安管理处罚法，公安机关将依法对其进行行政处罚，如拘留、罚款等。
民事赔偿：
- 若您提起民事诉讼并胜诉，您前夫可能需要承担民事赔偿责任，包括赔偿您的经济损失和精神损害抚慰金等。
四、注意事项
保留证据：
- 在处理此类问题时，建议您保留好相关证据，如前夫到单位的监控录像、聊天记录、证人证言等，以便在需要时提供证明。
及时寻求法律帮助：
- 若您感到无法独自应对前夫的骚扰行为，或担心自身权益受到进一步侵害，建议及时寻求专业律师的法律帮助。
综上所述，您有权要求前夫停止到单位影响您工作的行为，并可通过沟通、向单位求助、报警或提起民事诉讼等方式维护自身权益。 若您在此过程中遇到任何法律问题或需要进一步的法律帮助，请直接向我咨询。