结论前置：
- 若您打人的行为超出正当防卫的限度，则可能构成违法或犯罪。
- 若您打人的行为属于正当防卫或情节显著轻微，则可能不构成违法。
详细分析：
首先，我们需要明确的是，无论最初是谁先动手，打人这一行为本身就可能涉及违法甚至犯罪。具体来说，这主要取决于打人的行为是否超出了正当防卫的限度，以及是否造成了对方身体上的伤害或精神上的侮辱。
一、超出正当防卫限度的打人行为
违反《治安管理处罚法》：
- 如果您打人的行为超出了正当防卫的限度，且未造成对方轻伤及以上伤害，但导致了对方身体上的疼痛、红肿等轻微伤症状，或者在大庭广众之下无故打他人巴掌，贬低、羞辱对方，那么根据《治安管理处罚法》第四十三条，您可能面临五日以上十日以下拘留，并处二百元以上五百元以下罚款的处罚。情节较轻的，处五日以下拘留或者五百元以下罚款。
构成刑事犯罪：
- 如果您打人的行为导致了对方轻伤及以上程度的伤害，那么您可能构成故意伤害罪。根据《中华人民共和国刑法（2023修正）》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
二、属于正当防卫或情节显著轻微的打人行为
正当防卫：
- 如果您打人的行为是出于自卫目的，且防卫手段没有明显超过必要限度，那么根据相关法律规定，这种行为可能不构成违法。但需要注意的是，正当防卫的认定需综合考虑案情和法律规定，不是简单的主观判断。
情节显著轻微：
- 在某些特殊情况下，如双方嬉戏打闹中，如果一方轻轻打了另一方巴掌，且没有造成任何身体伤害或引起被打者的不适与反感，这种行为一般不被视为违法。但这种情况非常罕见，且需要具体的证据来支持。
法律建议：
- 保持冷静与理智：在面对冲突时，无论最初是谁先动手，都应尽量保持冷静与理智，避免采取暴力行为解决问题。
- 了解法律后果：在采取任何行动之前，都应了解可能的法律后果，以免因一时冲动而付出沉重的代价。
- 寻求法律帮助：如果您或他人涉及此类纠纷，建议及时向我咨询，了解自己的权利和义务，并寻求合适的解决方案。
总结与提醒：在日常生活中，我们应尊重他人权利与尊严，避免采取暴力行为解决问题。如果遇到类似情况，请务必保持冷静与理智，通过合法途径解决争端。如果您有任何法律问题或需要进一步的法律帮助，请随时向我咨询。