结论：打人后只有口头协议调解没有书面调解，您仍然可以继续向打人者追责。
分析说明：
口头协议的法律效力：
- 口头协议，在法律上也是被认可的合同形式之一，只要其内容不违反法律、行政法规的强制性规定，且双方意思表示真实，即具有法律效力。
- 然而，口头协议在证明上存在一定困难，因为缺乏书面证据来直接证明协议的内容和双方的真实意图。
追责的法律依据：
- 根据《中华人民共和国民法典》的相关规定，侵害他人造成人身损害的，应当赔偿医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。
- 这意味着，无论是否有书面调解协议，只要打人行为造成了您的人身损害，您都有权要求打人者承担相应的赔偿责任。
口头协议与追责的关系：
- 口头协议的存在并不妨碍您继续追责。即使双方曾就赔偿事宜达成过口头协议，但如果打人者未履行该协议或协议内容不合法、不合理，您仍然可以依法要求打人者承担赔偿责任。
- 口头协议只是双方曾经就赔偿事宜进行过协商的证据之一，但它不是您追责的唯一或必要依据。
实际操作中的建议：
- 收集证据：尽管口头协议难以直接证明，但您可以通过收集其他证据来支持您的追责请求，如医疗记录、证人证言、现场照片或视频等。
- 协商与调解：在追责过程中，您可以尝试与打人者再次进行协商或调解，以达成书面协议来明确双方的权利和义务。这有助于减少后续的法律纠纷和诉讼成本。
- 法律途径：如果协商和调解无果，您可以考虑通过法律途径来维护自己的权益，如向法院提起诉讼或申请仲裁等。
特殊场景：
- 如果口头协议中明确约定了打人者不再承担任何赔偿责任，且该协议是在您充分了解自己权益和后果的情况下自愿达成的，那么该协议可能对您具有一定的约束力。但即便如此，如果打人者的行为构成了犯罪或违反了其他法律规定，您仍然可以向相关部门报案或寻求其他法律救济。
行动建议：
- 建议您尽快收集相关证据，并咨询专业律师（即我本人，齐彪律师，专注于婚姻家庭、刑事辩护、经济纠纷、劳动纠纷、合同纠纷、交通事故、侵权纠纷等领域）来评估您的案件情况和追责可能性。
- 根据律师的建议，您可以选择与打人者再次协商、调解或通过法律途径来维护自己的权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。