在遭遇被“渣男”骗钱且没有直接证据的情况下，确实会面临一些挑战，但并非完全无法维权。以下是从不同角度为你提供的分析和建议：
证据收集与固定：
- 尝试回忆与整理：尽管你提到没有直接证据，但可以尝试回忆与对方交往过程中的细节，如转账记录（即使是通过非正规渠道，也可能有银行流水、第三方支付记录等）、聊天记录（包括文字、语音、视频等，即使部分已删除，也可能通过技术手段恢复）、证人证言（如共同朋友、家人等可能知晓情况的人）等。
- 利用现代科技：考虑使用手机数据恢复软件或联系专业机构，尝试恢复已删除的聊天记录或转账记录。同时，检查手机、电脑等设备中是否留有与对方相关的照片、视频或其他文件，这些都可能成为间接证据。
- 书面记录：如果可能，尝试让对方写下书面承认或道歉信，明确承认骗钱的事实和金额，这虽然不是直接证据，但在某些情况下可以作为辅助证据。
法律途径与策略：
- 报警处理：即使证据不充分，也可以向当地公安机关报案，说明情况。警方会根据你提供的信息进行调查，如果发现犯罪线索，会进一步侦查并收集证据。
- 民事诉讼：如果诈骗金额较大，且能够收集到一定证据（即使是间接证据），可以考虑向法院提起民事诉讼，要求对方返还被骗钱财。在诉讼过程中，可以通过律师的帮助，运用法律技巧和策略，尽可能地完善证据链。
- 刑事自诉：在特定情况下，如对方的行为构成诈骗罪且证据相对充分时，你也可以考虑向法院提起刑事自诉。但需要注意的是，刑事自诉对证据的要求较高，且需要自行承担举证责任。
预防与保护措施：
- 增强防范意识：未来在与人交往时，要增强防范意识，避免轻易相信他人，特别是涉及金钱往来时更要谨慎。
- 保护个人信息：不要随意向他人透露自己的银行账户、密码等敏感信息，防止被不法分子利用。
- 及时咨询律师：在遇到类似情况时，及时咨询专业律师，了解自己的权利和义务，以及可能的法律途径和策略。
在处理此类案件时，还需要注意以下几点：
- 保持冷静与理智：不要因为情绪激动而做出冲动的行为或决定，这可能会影响你的判断力和维权效果。
- 积极配合调查：如果警方或法院介入调查，要积极配合并提供相关信息和证据，以便尽快查明事实真相。
- 关注案件进展：及时了解案件的进展情况，与律师保持沟通，以便及时调整维权策略。
最后，我想强调的是，虽然证据是维权的关键，但并非唯一因素。在缺乏直接证据的情况下，我们仍然可以通过其他途径和策略来维护自己的合法权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。