结论前置：无论对方是否一直骂你，你动手打他都是违法的，可能面临法律处罚和民事赔偿责任。
详细分析如下：
一、打人行为的违法性
普遍原则：不论对方是否骂你，动手打人都不是合法的行为。打人行为本身即违反了法律法规，打人者需依法承担相应责任。这是基于法律对公民身体权的保护，任何侵犯他人身体权的行为都将受到法律的制裁。
民事层面：打人行为侵害了对方的身体健康权。若因此导致对方身体损伤，产生医疗费、误工费、护理费等经济损失，你需要承担民事赔偿责任。例如，若对方因被你打受伤花费了医疗费用并因伤误工，你应赔偿这些费用及可能产生的其他合理支出。
行政层面：根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或故意伤害他人身体的，将面临五日以上十日以下拘留，并处二百元以上五百元以下罚款的处罚；情节较轻的，也将受到五日以下拘留或五百元以下罚款的处罚。公安机关可依法对你进行治安处罚。
刑事层面：若打人行为造成对方轻伤及以上的后果，则涉嫌构成故意伤害罪。依据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，将处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，将面临十年以上有期徒刑、无期徒刑甚至死刑的严厉惩罚。
二、双方过错与责任认定
在司法实践中，对于双方发生冲突导致的伤害事件，法院或公安机关会综合考虑事件的起因、双方过错程度等因素来进行责任认定和处理。尽管你打人需承担主要责任，但对方骂你的行为也可能在一定程度上被视为有过错，这可能影响最终的责任划分和赔偿数额。然而，这并不意味着你可以因为对方骂你而动手打人，打人行为本身仍然是违法的。
三、建议与提醒
保持冷静：面对他人的辱骂，应保持冷静和理智，避免冲动行为。冲动是魔鬼，动手打人只会让自己陷入不必要的法律纠纷和经济损失中。
合法维权：你可以要求对方停止侵害、赔礼道歉，这是最直接且和平的解决方式。如果对方不配合，你可以寻求相关部门（如公安机关、调解机构）的帮助，他们可以介入调解，制止侵权行为，并依法对侵权者进行处理。
法律途径：如果情况严重，你可以寻求专业律师的法律援助，或者直接报警处理，让法律来保护自己的合法权益。记住，通过合法途径解决纠纷是维护自身权益和社会秩序的正确方式。
综上所述，无论对方是否一直骂你，动手打人都是不可取的行为。我们应该尊重他人的权利和尊严，遵守法律法规，以和平、理性的方式解决争端和问题。如果你有任何法律问题或需要进一步的法律帮助，请直接向我咨询。