你可以通过以下方式维权：

1. 立即固定证据：当对方上门指责时，优先确保自身安全，同时用手机录音录像（需注意合法性，避免侵犯他人隐私），记录对方外貌特征、言行内容、在场证人信息等。若对方留下书面材料（如传单、大字报），需完整保存。这些证据将直接证明侵权行为的存在。

2. 报警处理：根据《治安管理处罚法》第42条，公然侮辱他人或捏造事实诽谤他人的，可处5-10日拘留并罚款。即使对方声称“听说”，只要其无法提供合理证据来源，即构成诽谤。警方介入后，可要求出具《受案回执》，为后续维权提供依据。

3. 民事索赔：若对方行为造成社会评价降低（如邻居议论、工作影响），可依据《民法典》第1024条起诉名誉权侵权。需准备：

   • 侵权行为证据（录音录像、证人证言）
   • 损害后果证据（如单位辞退通知、医疗记录证明精神损害）
   • 因果关系证明（时间线关联性） 可主张赔礼道歉、消除影响及赔偿损失（包括精神损害抚慰金）。

4. 刑事自诉：若对方行为特别恶劣（如多次骚扰、在网络平台扩散），且造成严重后果，可依据《刑法》第246条以诽谤罪提起刑事自诉。需注意：刑事立案标准较高，需证明“情节严重”（如点击量超5000次、转发超500次）。

特别提醒：

• 避免与对方发生肢体冲突，防止被反诉“互殴”
• 若对方通过短信、微信等继续骚扰，需完整保存聊天记录（勿删除原始载体）
• 建议委托律师发送《律师函》，往往能快速制止侵权行为

后续建议： 若你希望进一步了解证据固定技巧或索赔计算方式，可以向我详细描述事件经过（如对方是否透露指使者、是否在公共场合实施等），我将为你制定具体维权方案。