结论：是否需要赔钱取决于具体情况，包括对方打骂行为的性质、你的防卫行为是否适度以及相关证据等。以下从不同角度为你详细分析：

1. 对方打骂行为的性质

• 如果对方只是轻微的打骂，没有对你造成实质性的身体伤害，那么他的行为可能不构成违法或犯罪，但可能违反《治安管理处罚法》，会受到行政处罚，如罚款、拘留等。
• 如果对方打骂行为严重，对你造成了身体伤害，那么他的行为可能构成故意伤害罪，需要承担刑事责任，同时你也可能因此获得民事赔偿的权利。

2. 你的防卫行为是否适度

• 根据《刑法》第二十条的规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果你的防卫行为是为了制止对方的不法侵害，且没有超过必要的限度，那么你的行为可能构成正当防卫，不需要承担刑事责任，也不需要赔偿对方的经济损失。
• 然而，如果你的防卫行为明显超过了必要的限度，造成了对方不应有的伤害，那么你的行为可能构成防卫过当。在这种情况下，你需要承担一定的刑事责任（但应当减轻或者免除处罚），同时也可能需要赔偿对方因此遭受的经济损失。

3. 相关证据的重要性

• 在处理此类纠纷时，证据是至关重要的。你需要收集并保留所有可能的证据，如现场照片、视频、目击者证言、医疗记录等，以证明你的防卫行为是适度的，且对方的不法侵害是先发生的。
• 如果缺乏证据，那么你的主张可能难以得到支持，而对方可能会反诉你故意伤害，要求你承担赔偿责任。

4. 可能的法律后果

• 如果你的防卫行为被认定为正当防卫，那么你不需要承担任何法律责任，也不需要赔偿对方。
• 如果你的防卫行为被认定为防卫过当，那么你可能需要承担一定的刑事责任，并可能需要赔偿对方因此遭受的经济损失。赔偿的金额将取决于对方的实际损失、你的过错程度以及法院的判决。
• 如果对方的不法侵害行为被认定为违法或犯罪，那么他可能需要承担刑事责任，并可能需要赔偿你因此遭受的经济损失。

建议

• 及时报警：在发生此类纠纷时，首先应及时报警，让警方介入调查，并保留好相关证据。
• 咨询律师：由于此类纠纷涉及复杂的法律问题，建议你咨询专业律师，以便更好地了解你的权利和义务，以及可能的法律后果。
• 保持冷静：在处理此类纠纷时，保持冷静和理智至关重要。避免采取过激行为，以免加重自己的法律责任。

如果你有任何进一步的疑问或需要进一步的法律帮助，请直接向我咨询。