如果你被人造谣并且有怀疑对象，但没有直接证据，以下是一些建议来帮助你应对这种情况：
首先，明确你的权益受到保护：根据我国法律，公民的名誉权受法律保护，禁止以侮辱、诽谤等手段损害公民名誉。因此，你有权维护自己的名誉权，不受造谣者的侵害。
接下来，你可以采取以下步骤：
自行收集证据：
- 留意谣言传播的平台，如社交媒体、网络论坛等，尝试找到造谣信息的原始发布者和传播路径。
- 保护相关的电子数据，如截图、录屏等，即使这些证据可能不完整，也能为后续行动提供线索。
- 询问身边的人，看是否有人能作为证人，提供关于造谣行为的证言。
向公安机关报案：
- 如果你自行收集证据有困难，或者造谣行为已经对你的生活造成了严重影响，可以向公安机关报案。
- 公安机关有调查取证的权力，能够专业地收集证据，并查明造谣事实。
法律途径维权：
- 如果你掌握了初步证据，可以要求造谣者停止侵权、赔礼道歉。如果对方拒不配合，你可以向法院提起民事诉讼。
- 在诉讼过程中，你可以申请法院调查取证，或者要求对方提供证据。如果造谣行为构成名誉侵权，法院会判决侵权方承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等民事责任。
保持冷静并避免冲突：
- 在处理过程中，务必保持冷静，切勿与造谣者发生冲突。冲突可能会给你带来额外的麻烦，甚至可能使情况恶化。
最后，需要注意的是：
- 收集证据时要合法，不能侵犯他人的合法权益。
- 即使暂时没有证据，也可以先固定住造谣行为所造成的影响，如保存相关的聊天记录、截图等。
- 如果造谣行为情节严重，符合诽谤罪的构成要件，你还可以向法院提起刑事自诉。
总之，虽然你目前没有直接证据，但并不意味着无法维权。通过合法途径收集证据，并寻求法律帮助，你有望维护自己的名誉权并恢复受损的名誉。