结论：打人者在调解后赔了钱又来骂人，一般情况下不能直接退钱并反悔要求再次调解，但受害人可以采取其他法律措施维护自身权益。

分析说明：

1. 调解协议的法律效力：

   • 调解协议一旦达成并履行，即具有法律约束力。这意味着双方应当按照协议内容履行各自的义务，不得随意反悔或变更。
   • 在您描述的情况下，打人者已经按照调解协议赔偿了钱款，这表明调解协议已经得到了履行。

2. 骂人行为的法律性质：

   • 骂人行为可能构成对受害人名誉权的侵害，属于侵权行为。根据《中华人民共和国民法典》的相关规定，受害人有权要求侵权人停止侵害、赔礼道歉、赔偿损失等。
   • 骂人行为并不直接导致调解协议的无效或可撤销。调解协议的效力取决于其是否违反法律、行政法规的强制性规定，或者是否存在欺诈、胁迫等情形。

3. 退钱反悔与再次调解的可能性：

   • 一般情况下，打人者不能因为后续骂人行为而直接要求退钱并反悔要求再次调解。调解协议已经履行完毕，双方应当尊重并维护调解结果。
   • 如果打人者确实希望解决骂人行为带来的问题，可以与受害人进行协商，寻求其他解决方案，如赔礼道歉、赔偿精神损失等。但这并不意味着可以撤销或变更原有的调解协议。

4. 受害人可以采取的法律措施：

   • 如果打人者的骂人行为对受害人造成了实际损害，受害人可以向法院提起民事诉讼，要求打人者承担侵权责任，包括停止侵害、赔礼道歉、赔偿损失等。
   • 受害人也可以向公安机关报案，要求对打人者的骂人行为进行治安管理处罚。

行动建议：

• 保留证据：受害人应当保留好与打人者之间的调解协议、赔偿凭证以及骂人行为的证据（如录音、录像、证人证言等），以备不时之需。
• 协商解决：在可能的情况下，受害人可以尝试与打人者进行协商，寻求和平解决骂人行为带来的问题。
• 法律途径：如果协商无果，受害人应当及时向法院提起民事诉讼或向公安机关报案，通过法律途径维护自身权益。

后续思考依据：

• 在处理此类纠纷时，应当充分考虑调解协议的法律效力以及骂人行为的法律性质，确保双方权益得到妥善维护。
• 受害人应当积极采取法律措施维护自身权益，避免因为拖延或忽视而导致权益受损。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。