在您描述的情况下，责任归属需根据具体情形来判断，但一般来说，若您的行为确实构成正当防卫，则您无需承担打人者手指骨折的责任。以下是从不同角度的详细分析：
一、正当防卫的认定
法律依据：
- 根据《中华人民共和国刑法》第二十条，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
认定条件：
- 正当防卫必须针对正在进行的不法侵害。
- 防卫行为必须是为了保护合法权益免受侵害。
- 防卫行为必须针对不法侵害人本人。
- 防卫行为不能明显超过必要限度造成重大损害。
您的行为分析：
- 若您确实是在遭受打人者的不法侵害时，为了保护自己而进行的防卫，且防卫行为没有超过必要限度，那么您的行为构成正当防卫。
二、责任归属
若构成正当防卫：
- 您无需对打人者手指骨折承担刑事责任。
- 打人者作为不法侵害人，其受伤后果应由其自行承担。
若不构成正当防卫：
- 如果您的防卫行为超过了必要限度，或者并非针对正在进行的不法侵害，那么您的行为可能不构成正当防卫。
- 在这种情况下，您可能需要根据具体情况承担一定的民事责任或刑事责任。但这种情况需要具体分析，不能一概而论。例如，如果您的防卫行为被认定为防卫过当，那么您可能需要对打人者的部分损失承担赔偿责任。
三、建议与后续行动
保留证据：
- 无论结果如何，您都应保留好相关证据，如现场照片、视频、证人证言等，以便在需要时证明自己的行为构成正当防卫。
配合调查：
- 既然打人者已经报警，您应积极配合警方的调查工作，如实陈述事实经过。
寻求法律帮助：
- 如果您对正当防卫的认定或责任归属有疑问，或者担心自己可能面临法律责任，可以向我咨询，我会根据您的具体情况提供专业的法律意见。
总结来说，若您的行为确实构成正当防卫，则您无需对打人者手指骨折承担责任。但具体情况还需根据证据和法律规定来判断。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。