不可以直接打回去，以暴制暴不是合法的解决方式。以下从不同角度为你详细分析：

法律角度

• 施暴者拒不赔偿的法律责任：如果施暴者实施了侵权行为（比如殴打你，侵犯了你的健康权），根据法律规定，他应当承担侵权责任，包括赔偿你的医疗费、误工费、护理费等合理损失。若他拒不赔偿，你可以通过法律途径来维护自己的权益，比如向法院提起民事诉讼，要求施暴者承担赔偿责任。法院会根据事实和法律，判决施暴者进行赔偿。
• “打回去”的法律后果：如果你选择“打回去”，这很可能构成新的侵权行为或者违法行为。如果造成施暴者受伤，你可能会面临民事赔偿责任，要赔偿施暴者的医疗费等损失；情节严重的，还可能构成故意伤害罪，面临刑事处罚，比如有期徒刑、拘役或者管制等。

实际解决角度

• 合法维权途径：
  • 协商：你可以尝试与施暴者再次进行协商，明确告知他拒不赔偿的法律后果，看是否能达成赔偿协议。
  • 调解：可以寻求第三方调解机构的帮助，比如社区调解委员会、人民调解委员会等，在调解员的主持下，与施暴者进行沟通协商，促成双方达成赔偿协议。
  • 诉讼：如果协商和调解都无法解决问题，你可以向法院提起民事诉讼。在诉讼过程中，你需要提供相关证据，如医院的诊断证明、医疗费发票、误工证明等，以证明你的损失和施暴者的侵权行为。法院会依法进行审理，并作出公正的判决。
• 证据收集：在整个维权过程中，证据的收集非常重要。你要保留好与侵权行为相关的所有证据，比如现场的照片、视频、证人证言等，这些证据将有助于你在协商、调解或者诉讼中证明自己的主张。

道德和社会角度

• 以暴制暴的负面影响：以暴制暴不仅不能解决问题，还会加剧矛盾和冲突，破坏社会的和谐与稳定。我们应该倡导通过合法、和平的方式来解决问题，维护社会的公平正义。
• 树立正确价值观：在面对侵权行为时，我们要保持冷静和理智，相信法律能够为我们提供公正的保障。通过合法途径维权，不仅能够维护自己的权益，还能够树立良好的社会风尚，促进社会的文明进步。

如果你遇到施暴者拒不赔偿的情况，一定要保持冷静，通过合法的途径来维护自己的权益。如果你在维权过程中遇到任何问题，都可以直接向我咨询，我会为你提供专业的法律帮助。