若经鉴定，受害人的损失与交通事故无关联，肇事者确实可以不赔偿该部分损失。以下从不同角度为您详细分析：

一、法律原则与因果关系

在交通事故赔偿中，一个核心的原则是“因果关系原则”。这意味着，只有当受害人的损失与交通事故之间存在直接的因果关系时，肇事者才需要承担赔偿责任。如果经鉴定，受害人的某项损失（如治疗自身固有疾病的费用）与交通事故无关联，那么根据这一原则，肇事者有权拒绝赔偿该部分损失。

二、司法实践与案例分析

从司法实践的角度来看，法院在审理交通事故赔偿案件时，会严格审查损失与交通事故之间的因果关系。例如，在您提供的案例中，原告黄某在交通事故前就存在右耳朵听觉障碍的问题，其治疗耳朵的费用与交通事故可能不存在因果关系。在原告提出右耳伤残鉴定时，保险公司代理人同时提出了进行原告右耳损伤与交通事故损害的因果关系鉴定，并提出治疗费用与本案缺乏关联性、不应赔偿的抗辩意见。后经鉴定，交通事故与其听力障碍之间的因果关系为50%，法院最终也按照这一比例判决了赔偿金额。这一案例充分说明了，在司法实践中，如果损失与交通事故无关联，肇事者是可以不赔偿的。

三、肇事者的权益与抗辩

作为肇事者，在面对受害人的索赔要求时，有权进行抗辩。如果认为受害人的某项损失与交通事故无关联，可以提出相应的证据和理由进行抗辩。在这种情况下，肇事者可以要求进行司法鉴定，以确定损失与交通事故之间的因果关系。如果鉴定结果确实表明无关联，那么肇事者就有权拒绝赔偿该部分损失。

四、建议与注意事项

1. 及时申请司法鉴定：在面对受害人的索赔要求时，如果认为某项损失与交通事故无关联，应及时申请司法鉴定，以确定因果关系。
2. 保留相关证据：在事故发生后，应尽可能保留与事故相关的所有证据，包括医疗记录、诊断证明、费用清单等。这些证据在后续的赔偿协商或诉讼中可能起到关键作用。
3. 咨询专业律师：交通事故赔偿案件涉及复杂的法律问题和证据审查，建议咨询专业律师以获取更准确的法律意见和帮助。

总结来看，若经鉴定受害人的损失与交通事故无关联，肇事者确实可以不赔偿该部分损失。但这也需要肇事者积极行使自己的权利，及时申请司法鉴定并保留相关证据。如果您在交通事故赔偿方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。