针对你提出的问题，如果打人者只被罚款五百元，而受害者认为这一处罚过轻，受害者可以通过以下途径来处理：

1. 申请行政复议或提起行政诉讼：

   • 受害者如果认为行政处罚决定（即罚款五百元）过轻，有权在收到处罚决定书之日起六十日内向作出处罚决定的机关的上一级机关申请行政复议，或者在六个月内直接向人民法院提起行政诉讼。
   • 在申请行政复议或提起行政诉讼时，受害者需要提供相关证据，如医疗记录、伤情鉴定报告等，以证明自己的权益受到侵害，以及行政处罚决定的不合理性。

2. 寻求民事赔偿：

   • 受害者还可以考虑通过民事途径寻求赔偿。打人行为构成侵权的，受害者可以向人民法院提起民事诉讼，要求打人者赔偿医疗费、误工费、精神损失费等合理费用。
   • 在提起民事诉讼时，受害者需要准备充分的证据，如医疗费用单据、收入证明、伤残鉴定报告等，以支持自己的赔偿请求。

3. 与打人者协商：

   • 在某些情况下，受害者也可以尝试与打人者进行协商，达成和解协议。这可以是一种相对快速且成本较低的解决方式。
   • 协商时，受害者应明确自己的赔偿要求，并保留好相关证据，以确保自己的权益得到充分保障。

综上所述，如果受害者认为打人者只被罚款五百元这一处罚过轻，可以通过申请行政复议或提起行政诉讼来挑战行政处罚决定，也可以通过民事途径寻求赔偿，或者尝试与打人者进行协商。在处理过程中，受害者应保留好相关证据，并咨询专业律师以获取更具体的法律建议。如果你有任何进一步的问题或需要详细的法律指导，请直接向我咨询。