结论：是否需要负责取决于具体情况，包括你的行为是否构成正当防卫、是否存在过失以及对方吓你的行为是否构成违法或犯罪等。以下我会从多个角度为你详细分析。

一、正当防卫的角度

1. 正当防卫的构成要件：

   • 存在不法侵害：即对方吓你的行为必须构成对你人身或财产的非法侵害。
   • 防卫行为适时：即你的防卫行为必须是在不法侵害正在进行时实施。
   • 防卫行为适度：即你的防卫行为必须是为了制止不法侵害所必需，且没有明显超过必要限度。

2. 若构成正当防卫：

   • 如果你在对方吓你的过程中，为了保护自己的人身安全而采取了合理的防卫行为，且该行为没有超过必要限度，那么即使不小心伤害了对方，你也不需要承担法律责任。

二、过失的角度

1. 过失的构成：

   • 行为人应当预见自己的行为可能发生危害社会的结果，因为疏忽大意而没有预见，或者虽然已经预见但轻信能够避免。

2. 若存在过失：

   • 如果你在对方吓你的过程中，因为疏忽大意或过于自信而采取了不合理的行为，导致对方受伤，且该行为与对方受伤之间存在因果关系，那么你可能需要承担过失责任。这种责任可能是民事赔偿责任，也可能是刑事责任，具体取决于伤害的严重程度和你的过错程度。

三、对方行为违法性的角度

1. 对方行为的违法性：

   • 如果对方吓你的行为构成了违法或犯罪，如寻衅滋事、故意伤害（未遂）等，那么你在防卫过程中即使不小心伤害了对方，也可能因为对方的违法行为而减轻或免除你的责任。

2. 具体情形分析：

   • 如果对方只是轻微地吓你，没有造成实质性的威胁，而你却采取了过激的行为导致对方受伤，那么你可能需要承担一定的责任。
   • 如果对方的行为已经构成了对你人身安全的严重威胁，如持刀威胁、追逐拦截等，那么你在防卫过程中即使不小心伤害了对方，也更有可能被认定为正当防卫或防卫过当（但防卫过当的情况下，你也可能只承担部分责任或减轻责任）。

四、建议与措施

1. 保留证据：

   • 在发生此类事件后，务必保留好相关证据，如现场照片、视频、证人证言等，以便在需要时证明自己的行为是合理的。

2. 及时报警：

   • 如果对方的行为已经构成了违法或犯罪，或者你无法确定自己的行为是否合法，建议及时报警并寻求警方的帮助和指导。

3. 咨询专业律师：

   • 如果你对此类事件的处理存在疑问或担忧，建议咨询专业律师以获取更具体的法律建议和指导。作为专注于劳动纠纷、侵权纠纷领域的律师，我可以为你提供专业的法律咨询和帮助。

总结：是否需要为不小心伤害吓你的人负责，取决于多种因素的综合考量。在处理此类事件时，请务必保持冷静和理智，根据实际情况采取合理的措施，并在需要时寻求专业律师的帮助。如果你有任何疑问或需要进一步的法律咨询，请直接向我提问。