结论：是否需要赔偿取决于对方受伤是否与你的行为有直接因果关系，以及对方受伤的实际情况。若对方受伤与你无关或对方自身存在重大过错，则你无需赔偿；若存在因果关系且你存在过错，则可能需要承担相应赔偿责任。以下从不同角度进行分析：
一、因果关系角度
直接因果关系：
- 如果对方手受伤是直接由你的打架行为导致的，那么从法律上讲，你应当承担相应的赔偿责任。这是因为你的行为与对方的损害结果之间存在直接的因果关系。
- 赔偿范围：通常包括医疗费、误工费、护理费等因受伤而产生的合理费用。
无直接因果关系或对方自身过错：
- 如果对方手受伤并非由你的打架行为直接导致，或者对方在打架过程中存在重大过错（如主动挑衅、使用危险物品等），则你可能无需承担赔偿责任。
- 例外情况：即使对方存在一定过错，但如果你也存在过错，且过错程度相当或更大，那么你可能仍需承担部分赔偿责任，具体比例需根据实际情况判断。
二、对方继续工作的影响
- 对方第二天继续在工地干活，这一事实本身并不直接决定你是否需要赔偿。关键在于对方受伤是否与你有关，以及受伤的严重程度。
- 如果对方受伤较轻：且能够继续工作，这可能表明受伤并未对其造成严重影响，但这并不免除你因打架行为可能承担的赔偿责任。
- 如果对方受伤较重：但出于经济或其他原因继续工作，这并不影响你因其受伤而应承担的赔偿责任。对方有权在治疗后向你主张赔偿。
三、法律建议
收集证据：
- 如果你认为对方受伤与你无关或对方存在重大过错，建议收集相关证据（如现场监控、证人证言等）以支持你的主张。
协商解决：
- 在可能的情况下，尝试与对方协商解决赔偿问题。通过友好沟通，双方可以达成一个双方都能接受的赔偿方案。
法律途径：
- 如果协商无果，对方可能选择通过法律途径主张赔偿。此时，建议你积极应对，必要时寻求专业律师的帮助，以维护你的合法权益。
总结与进一步思考：在处理此类纠纷时，关键在于明确因果关系、收集证据并合理主张自己的权益。如果你对此类问题仍有疑问或需要进一步的法律帮助，请随时向我咨询。作为专业律师，我将根据你的具体情况提供有针对性的法律建议。