面对被人骚扰辱骂却没有证据的情况，确实比较棘手，但并非完全无解。以下是我为你提供的一些建议，希望能帮助你有效应对这一问题：

首先，明确你的权益和对方的违法性：

即使你没有直接证据，但骚扰辱骂行为本身是不道德且可能违法的。你有权要求对方停止这种行为，并有权维护自己的名誉和尊严。

其次，尝试收集间接证据：

1. 记录详情：详细记录每次骚扰辱骂的时间、地点、涉及人员及具体言行。这些记录虽然不能直接作为证据，但可以在后续处理中提供重要线索。
2. 寻找证人：如果骚扰辱骂发生时有其他人在场，尝试与他们取得联系，并请求他们为你作证。证人的陈述可以作为间接证据来支持你的主张。
3. 保留通信记录：如果骚扰辱骂是通过电话、短信或社交媒体进行的，务必保留这些通信记录。它们可能包含对方承认骚扰或辱骂的言论，从而成为间接证据。

接着，寻求外部支持和帮助：

1. 向单位或学校反映：如果骚扰辱骂发生在工作场所或学校，你可以向人力资源部门、工会、上级领导或学生管理部门等报告情况，并请求他们介入调查和处理。
2. 向公安机关报案：即使你没有直接证据，也可以向公安机关报案。警方会进行初步调查，并根据情况采取相应的措施。报案本身也能起到威慑作用，并可能促使对方停止骚扰辱骂行为。
3. 寻求社会组织支持：你还可以向妇女联合会、消费者权益保护组织等社会组织寻求帮助。这些组织通常会提供法律咨询、心理辅导和维权指导等全方位服务。

最后，考虑法律途径维护权益：

1. 提起民事诉讼：如果你收集到了一定的间接证据，并且能够证明骚扰辱骂行为对你的名誉、精神等造成了损害，你可以考虑提起民事诉讼。在诉讼中，你可以要求对方承担停止侵害、赔礼道歉、赔偿精神损害抚慰金等民事责任。
2. 追究刑事责任：如果骚扰辱骂行为情节严重，构成了侮辱罪或其他相关犯罪，你可以向人民法院提起刑事自诉。这需要你自行收集证据，证明对方的行为构成了犯罪。

在整个过程中，请务必保持冷静和理智。不要因为缺乏直接证据而感到沮丧或无助。记住，你有权要求得到保护和正义，而积极寻求帮助和支持是迈向这一目标的重要一步。如果你有任何法律问题或需要进一步的帮助，请随时向我咨询。