关于“打人者罚款的钱去哪里了”这一问题，核心结论需结合罚款性质和法律程序来分析，具体如下：
若罚款属于行政处罚（如治安管理处罚中的罚款）
根据《中华人民共和国治安管理处罚法》第十一条，罚款需全额上缴国库。具体流程为：公安机关作出罚款决定后，被处罚人需在15日内到指定银行缴纳罚款，银行直接将款项划入国库账户。若逾期未缴，公安机关可依法申请法院强制执行，但款项最终仍归国库所有，不会用于赔偿受害人。
若罚款属于刑事罚金（如故意伤害罪被判处的罚金）
根据《中华人民共和国刑法》第五十三条，罚金同样需上缴国库。刑事罚金是刑罚的一种，与民事赔偿无关。若打人者同时需承担民事赔偿责任（如医疗费、误工费等），受害人需通过民事诉讼另行主张，法院会从打人者财产中优先赔偿受害人，剩余部分再执行罚金。
特殊情形：赔偿与罚款的区分
需明确：罚款是行政机关或法院对违法行为的惩罚，而赔偿是打人者对受害人的民事补偿。例如，若公安机关在处罚时要求打人者支付“赔偿金”，这可能是调解下的民事赔偿，需双方自愿达成协议并直接支付给受害人；但若为“罚款”，则必然上缴国库。
建议：若您是受害人，可要求打人者通过民事诉讼途径赔偿损失；若您对罚款去向有疑问，可向作出处罚的公安机关申请政府信息公开，查询款项上缴情况。如有具体案件细节，欢迎进一步向我咨询。