是的，互殴打一巴掌调解不成功，双方一般都要接受处罚。以下是详细的分析：
法律依据：
- 根据《中华人民共和国治安管理处罚法》的相关规定，对于因民间纠纷引起的打架斗殴等违反治安管理行为，情节较轻的，公安机关可以调解处理。但经公安机关调解，当事人达成协议的，不予处罚；经调解未达成协议或者达成协议后不履行的，公安机关应当依照本法的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。
双方责任：
- 在互殴的情况下，即使是一方先动手，另一方如果进行了还击，双方通常都会被视为参与了打架斗殴行为。因此，在调解不成功的情况下，双方都有可能面临治安管理处罚，如罚款、拘留等。
特殊情况：
- 当然，也存在一些特殊情况。比如，如果一方能够证明自己是出于正当防卫而进行的反击，并且没有超过必要的限度，那么这一方可能不会被处罚。但这种情况需要具体的证据和事实来支持。
民事赔偿：
- 除了治安管理处罚外，互殴双方还可能面临民事赔偿责任。如果一方因互殴行为受到了伤害，可以依法向人民法院提起民事诉讼，要求对方赔偿医疗费、误工费、精神损失费等费用。
综上所述，互殴打一巴掌调解不成功时，双方一般都要接受处罚。但具体处罚的轻重会根据双方的过错程度、伤害后果等因素来综合判断。同时，双方也可以就民事赔偿部分进行协商或通过诉讼来解决。如果你在这方面有进一步的问题或需要具体的法律帮助，请直接向我咨询。