结论：是否需要赔钱，取决于你的行为是否构成正当防卫或防卫过当，以及对方受伤的具体情况和责任划分。
一、正当防卫与防卫过当的界定
正当防卫：根据《中华人民共和国刑法》的相关规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。如果你的行为符合正当防卫的构成要件，即对方正在进行不法侵害，你为了保护自己或他人的人身安全而采取了必要的防卫行为，且防卫行为没有超过必要限度，那么你不需要承担赔偿责任。
防卫过当：如果防卫行为明显超过必要限度造成重大损害，应当负刑事责任，但是应当减轻或者免除处罚。在民事赔偿方面，防卫过当者可能需要承担一定的赔偿责任。具体来说，如果法院认定你的防卫行为超出了必要限度，导致对方手指骨折这一相对严重的后果，那么你可能需要承担部分或全部的赔偿责任。
二、责任划分与赔偿原则
责任划分：在侵权损害赔偿案件中，责任的划分是关键。如果法院认定你的行为构成正当防卫，那么你不需要承担赔偿责任。如果认定你的行为构成防卫过当，那么你需要根据过错程度承担相应的赔偿责任。此外，如果对方也存在过错，比如先动手或使用危险工具等，那么对方的过错也会在一定程度上减轻你的赔偿责任。
赔偿原则：在侵权损害赔偿中，通常遵循“填平原则”，即赔偿金额应足以弥补受害人的实际损失。这包括医疗费、误工费、护理费等直接经济损失，以及可能的精神损害抚慰金等间接经济损失。具体赔偿金额需要根据受害人的实际损失和双方的过错程度来确定。
三、具体情境下的分析
如果对方先动手且使用刀具：在这种情况下，你为了保护自己的人身安全而采取防卫行为是合理的。如果防卫行为没有超过必要限度，导致对方手指骨折，那么你不需要承担赔偿责任。
如果防卫行为明显超过必要限度：比如，在对方已经停止侵害或失去侵害能力后，你仍然继续攻击对方，导致对方手指骨折等严重后果，那么你的行为可能构成防卫过当。在这种情况下，你可能需要承担一定的赔偿责任。
四、建议与后续行动
及时报警并保留证据：无论你的行为是否构成正当防卫或防卫过当，都应及时报警并保留相关证据，如现场照片、视频、证人证言等。这些证据将有助于警方和法院查明事实真相，并作出公正的裁决。
咨询专业律师：由于侵权损害赔偿案件涉及复杂的法律问题和责任划分，建议你咨询专业律师以获取更具体的法律建议和帮助，比如我。我可以根据你的具体情况和证据材料，为你提供更准确的法律分析和诉讼策略。
积极应对诉讼：如果对方提起诉讼要求你承担赔偿责任，你应积极应对并参加庭审。在庭审过程中，你可以提出自己的抗辩理由和证据材料，以维护自己的合法权益。
如果你有进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。