结论：面对普通朋友私配钥匙并频繁骚扰且缺乏直接证据的情况，你可以从收集间接证据、报警处理、加强自我保护以及考虑法律诉讼等角度入手来解决问题。

1. 收集间接证据

虽然直接证据（如视频、音频记录骚扰行为）可能缺失，但你可以尝试收集间接证据来支持你的主张。这些间接证据可能包括：

• 通讯记录：保存与骚扰者的短信、微信、电话等通讯记录，尤其是那些包含威胁、侮辱或不当言论的内容。
• 证人证言：如果有邻居、朋友或家人目击了骚扰行为，可以请他们提供证言。
• 其他物证：如被破坏的财物、私配的钥匙等，这些都可以作为骚扰行为存在的间接证据。

2. 报警处理

如果骚扰行为频繁且严重，你可以考虑向警方报案。在报案时，尽量提供你所收集到的所有证据，包括通讯记录、证人证言等。警方会根据情况展开调查，并根据《中华人民共和国治安管理处罚法》的相关规定对骚扰者进行处罚，如警告、罚款或拘留等。

3. 加强自我保护

在等待警方处理或法律诉讼的过程中，你可以采取一些措施来加强自我保护：

• 更换锁具：立即更换门锁，防止骚扰者再次使用私配的钥匙进入你的住所。
• 安装安防设备：如摄像头、报警器等，以便在骚扰行为发生时能够及时记录并报警。
• 避免单独行动：尽量在公共场合或与他人同行时外出，减少单独面对骚扰者的机会。

4. 考虑法律诉讼

如果骚扰行为持续不断且对你的生活造成了严重影响，你可以考虑通过法律途径来解决问题。虽然缺乏直接证据可能增加诉讼的难度，但你可以依据《中华人民共和国民法典》中关于人格权保护的规定，主张骚扰者的行为侵犯了你的隐私权、安宁权等人格权利，并要求其承担相应的民事责任。在诉讼过程中，你需要充分展示你所收集到的间接证据，并可能需要借助专业律师的帮助来构建有力的诉讼策略。

5. 心理调适与支持

面对持续的骚扰行为，你可能会感到焦虑、恐惧或无助。这时，寻求心理支持或咨询是非常重要的。你可以与家人、朋友分享你的感受，或者寻求专业心理咨询师的帮助来缓解心理压力。

最后，面对这种情况，保持冷静和理智至关重要。不要因为缺乏直接证据而感到无助或放弃维权。通过收集间接证据、报警处理、加强自我保护以及考虑法律诉讼等途径，你可以有效地应对骚扰行为并维护自己的合法权益。如果你有任何进一步的法律问题或需要具体的法律建议，可以直接向我咨询。