结论：
- 若你并未实际打人，对方乱说则可能构成诽谤或名誉权侵权。
- 若你因对方挑衅而实际动手打人，则可能构成违法行为，甚至触犯刑法中的故意伤害罪。
详细分析：
一、若你并未实际打人
如果对方仅仅是在没有事实依据的情况下，乱说你打了他，这种行为可能构成对您的诽谤或名誉权侵权。根据《中华人民共和国民法典》中关于名誉权的规定，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉是对民事主体的品德、声望、才能、信用等的社会评价。如果对方的行为导致你的社会评价降低，你可以考虑通过法律途径维护自己的名誉权，比如要求对方停止侵害、赔礼道歉、消除影响、恢复名誉，甚至可以要求赔偿损失。
二、若你因对方挑衅而实际动手打人
违反《治安管理处罚法》：
- 无论对方是否挑衅，动手打人都是不被法律所允许的行为。如果你因对方挑衅而动手打人，侵害了他人的身体权和健康权，根据《中华人民共和国治安管理处罚法》第四十三条，你将面临五日以上十日以下拘留，并处二百元以上五百元以下罚款的处罚。情节较轻的，也有五日以下拘留或五百元以下罚款的惩处。若存在结伙殴打、伤害特定人群（如残疾人、孕妇等）或多次殴打等情况，处罚将更加严厉。
可能触犯《刑法》：
- 若你的打人行为导致对方受到轻伤以上的伤害结果，则可能构成故意伤害罪。依据《中华人民共和国刑法》第二百三十四条，你将面临三年以下有期徒刑、拘役或者管制等刑罚。致人重伤或死亡的，刑罚将更加严重。
正当防卫的考量：
- 虽然对方的挑衅言语可能在某些情况下被视为不当行为，但这并不能成为你打人免除法律责任的理由。只有在对方行为构成严重侮辱、诽谤或威胁，并且你的打人行为是在自卫或保护合法权益的情况下，且未超出必要限度时，才可能具有一定的正当性。然而，这种情况下仍需谨慎判断，并确保行为不超出法律允许的范畴。
三、建议
- 保持冷静：面对挑衅，应首先保持冷静和理智，避免情绪化的反应。
- 寻求合法途径：如果感到自身安全受到威胁，应及时报警或寻求其他合法帮助，如向周围人求助、联系安保人员等。
- 避免动手：在任何情况下，都不应轻易动手打人，以免触碰法律红线，给自己带来不必要的麻烦和法律责任。
- 保留证据：如果可能的话，保留相关的证据，如聊天记录、录音、视频等，以备不时之需。这些证据在后续的法律程序中可能起到关键作用。
总之，面对他人的挑衅和乱说，我们应保持冷静和理智，通过合法途径来维护自己的权益。如果有任何法律问题或需要进一步的帮助，请随时向我咨询。