若诽谤他人且拒绝调解，受害者可以采取以下法律措施来维护自己的权益：
收集并固定证据：
- 受害者应首先收集与诽谤行为相关的所有证据，包括但不限于聊天记录、音视频资料、证人陈述、网络截图等。这些证据在后续的法律程序中至关重要，能够证明诽谤者的不实言论和侵权行为。
提起民事诉讼：
- 受害者可以向法院提交民事诉状，请求加害人承担停止侵害、修复名誉、赔礼道歉以及赔偿损失等民事责任。在诉讼过程中，受害者需要提供充分的证据来证明自己的名誉受到了损害，以及这种损害是由加害人的诽谤行为所导致的。
- 法院将根据证据和法律规定进行裁决，如果认定加害人构成侵权，将判决其承担相应的民事责任。
追究刑事责任（如情节严重）：
- 如果诽谤行为严重到触犯刑法的程度，例如以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，且情节严重，受害者可以向公安机关报案，要求依法追究加害人的刑事责任。
- 根据《中华人民共和国刑法》第二百四十六条的规定，构成诽谤罪的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。但需要注意的是，该罪行属于告诉的才处理的犯罪，即受害者需要主动向法院提起诉讼，法院才会追究加害人的刑事责任（严重危害社会秩序和国家利益的除外）。
关注诉讼时效：
- 受害者在提起诉讼时，还需要关注诉讼时效的问题。根据相关法律规定，民事权利受到侵害的诉讼时效期间通常为三年，自知道或应当知道权利受到损害以及义务人之日起计算。因此，受害者应在诉讼时效期间内及时提起诉讼，以免丧失胜诉权。
在处理此类纠纷时，受害者还可以考虑以下建议：
- 尝试沟通：在提起诉讼之前，如果可能的话，受害者可以先尝试与诽谤者进行沟通，表达对其不实言论的不满，并要求其撤回或删除相关言论。通过沟通和解释，有时可以解决问题，避免进一步的法律纠纷。
- 寻求法律建议：如果沟通无果或情况较为严重，受害者应及时寻求法律专业人士的建议。他们可以评估情况，提供针对诽谤行为的法律建议，并帮助受害者采取进一步的行动。
若受害者因客观原因难以提供充分证据，人民法院有权请求公安机关提供必要的协助与支持。在处理诽谤纠纷时，受害者应保持冷静和理性，通过合法途径来维护自己的权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。