如遇要债的人到处散播不实言论或进行骚扰，可根据具体情况依法维护自身权益。具体分析如下：

一. 如要债人捏造事实诽谤或侮辱

• 法律依据：《中华人民共和国刑法》第二百四十六条规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。这意味着，如果要债人的行为构成了公然侮辱或诽谤，并且情节严重，那么他们可能会面临刑事责任。
• 我的观点：如果要债人到处散播关于你的不实言论，且这些言论构成了侮辱或诽谤，你可以考虑向公安机关报案，要求追究其刑事责任。

二. 如要债人多次发送侮辱、恐吓信息

• 法律依据：《中华人民共和国治安管理处罚法》第四十二条规定，多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
• 我的观点：如果要债人通过短信、电话或其他方式多次向你或你的家人发送侮辱、恐吓信息，干扰了你们的正常生活，你可以向公安机关报案，要求对其给予治安管理处罚。

三. 应对建议

• 保留证据：无论是要债人的口头言论还是书面信息，都应尽可能保留证据，如录音、截图等，以便在需要时提供证明。
• 及时报案：如果要债人的行为构成了违法或犯罪，应及时向公安机关报案，维护自己的合法权益。
• 咨询法律意见：在处理此类问题时，如有需要，可以咨询专业律师，了解更具体的法律建议和应对方案。

综上所述，面对要债人的不当行为，你应根据具体情况依法维护自身权益。如有进一步需要，您可以继续咨询我。