当你明知道谁是骗你钱的人，但却没有直接证据时，这确实是一个棘手的情况。不过，别担心，我会尽力帮你分析并给出一些建议。
首先，明确一点：没有直接证据并不意味着无法维权。
收集间接证据：
- 尽可能搜集与诈骗行为相关的间接证据，如聊天记录、转账记录、通话录音、邮件往来等。
- 这些间接证据虽然单个可能证明力有限，但综合起来有可能形成完整的证据链，对证明诈骗事实起到关键作用。
回忆交易细节：
- 仔细回忆交易的时间、地点、对方的模样、交易方式等细节。
- 这些细节在后续的调查中可能会起到意想不到的作用。
向公安机关报案：
- 尽快向当地的公安机关报案，详细说明被骗的经过和已掌握的线索。
- 公安机关有专业的侦查手段和经验，能够根据你的报案信息展开调查，并有可能通过技术手段找到更多证据。
与诈骗方沟通（需谨慎）：
- 在合法且安全的前提下，可以尝试与诈骗方进一步沟通。
- 注意，沟通时要保持冷静，不要激怒对方，同时悄悄录音或保留其他形式的证据。
- 诱导对方承认诈骗事实或透露更多信息，但这些证据需要合法取得，不能侵犯他人合法权益。
关注诈骗后果：
- 注意记录诈骗行为给你带来的具体损失，包括金额、精神损失等。
- 如果有其他受害者，也可以尝试联系他们，共同提供证据，增加维权的力量。
法律途径维权：
- 若证据较为充分，可以考虑向法院提起民事诉讼或刑事诉讼。
- 在民事诉讼中，虽然需要原告承担举证责任，但间接证据和合理推断也可能被法院采纳。
- 在刑事诉讼中，公安机关和检察机关会负责调查取证，你只需提供初步线索即可。
最后，我要强调的是，千万不要自己用违法的手段去收集证据。这样不仅可能面临法律风险，而且可能使原本就复杂的案件变得更加棘手。保持冷静，及时报案，并尽可能多地提供线索和证据，是维护自身权益的正确方式。
希望这些建议能对你有所帮助。如果你还有其他问题或需要进一步的法律帮助，请随时向我咨询。