若打人者不履行调解协议中的赔钱义务，您可以通过以下途径解决：

1. 向法院申请强制执行
   若调解协议是通过公安机关主持的治安调解或人民调解委员会调解达成，且已明确赔偿金额、履行期限等核心条款，您可凭调解协议书向法院申请支付令或直接申请强制执行。

   • 前提条件：调解协议需经双方签字确认，且部分调解协议（如司法确认的调解协议）具有直接强制执行力。
     
   • 操作步骤：向法院提交调解协议、履行情况证明（如对方拒付记录）等材料，法院将依法查封、扣押、冻结打人者财产（如银行账户、房产、车辆等），直至赔偿义务履行完毕。

2. 提起民事诉讼主张赔偿
   若调解协议未通过司法确认或对方明确反悔，您可直接以人身损害赔偿纠纷为由向法院起诉，要求打人者赔偿医疗费、误工费、护理费等实际损失。

   • 证据准备：需提供调解协议、伤情鉴定报告、医疗票据、收入证明等材料，证明对方侵权行为及损失金额。
     
   • 诉讼优势：法院判决后，若对方仍不履行，您可凭生效判决书申请强制执行，且诉讼中可主张逾期利息等额外赔偿。

3. 追究打人者的行政或刑事责任（若存在）

   • 行政责任：若打人行为构成治安违法（如轻微伤），您可要求公安机关对打人者处以行政拘留、罚款等处罚，并督促其履行赔偿义务。
     
   • 刑事责任：若打人行为构成犯罪（如轻伤及以上），您可在刑事诉讼中提起刑事附带民事诉讼，要求打人者赔偿损失。刑事判决的强制力更强，且可能通过退赔程序优先保障您的权益。

行动建议：

• 优先通过调解协议司法确认或直接申请强制执行快速解决，节省时间和成本；
  
• 若对方财产状况不明或执行困难，可同步申请法院调查其财产线索（如支付宝、微信账户等）；
  
• 保留所有沟通记录（如短信、录音）作为对方拒不履行的证据，增强主张的合理性。
  

如有进一步细节（如调解协议是否经司法确认、对方财产状况等），可直接向我咨询，我会结合具体情况为您制定更精准的解决方案。