1. 核心结论：到单位骚扰并造成名誉损害的行为，可能构成对他人名誉权的侵犯，受害者有权要求侵权者承担相应的法律责任。

2. 法律背景与解释：

   • 名誉权是公民或法人保持并维护自己名誉的权利，是人格权的一种。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
   • 在本案例中，如果行为人到单位进行骚扰，并通过言语、行为等方式对受害者的名誉进行贬损，导致受害者在单位或社会上的评价降低，那么这种行为就可能构成对名誉权的侵犯。

3. 法律建议：

   • 收集证据：受害者应首先收集相关证据，包括骚扰行为的记录（如录音、录像、证人证言等）、名誉损害的证明（如单位同事的评价变化、社交媒体上的负面评论等）。
   • 与侵权者协商：在证据充分的情况下，受害者可以尝试与侵权者进行协商，要求其停止侵权行为、赔礼道歉并赔偿损失。
   • 提起诉讼：如果协商无果，受害者可以向人民法院提起诉讼，要求侵权者承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。

4. 可能的法律后果：

   • 如果侵权行为被认定，侵权者可能需要承担民事责任，包括赔偿受害者的经济损失和精神损害抚慰金。
   • 在某些情况下，如果侵权行为情节严重，还可能构成刑事犯罪（如侮辱罪、诽谤罪等），侵权者将面临刑事处罚。

5. 进一步思考的依据：

   • 受害者在处理此类问题时，应保持冷静，避免与侵权者发生直接冲突，以免加重损害或导致其他不良后果。
   • 同时，受害者也可以咨询专业律师，以获取更具体、更专业的法律建议和帮助。

综上所述，到单位骚扰并造成名誉损害的行为是违法的，受害者有权要求侵权者承担法律责任。如果您或您身边的人遇到此类问题，可以直接向我咨询，我将为您提供专业的法律帮助。