别人辱骂你时，你不可以打他。从法律角度来看，打人行为通常涉及侵犯他人的身体权和健康权，这是不被法律所允许的。以下是对此问题的详细分析：
一、法律对打人行为的定性
违反治安管理处罚法：
- 如果打人情节较轻，可能违反《中华人民共和国治安管理处罚法》，面临罚款、拘留等治安处罚。例如，造成对方轻微伤，公安机关可根据具体情况对打人者处以五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
触犯刑法：
- 若打人情节严重，导致对方受轻伤及以上伤害，则可能触犯《中华人民共和国刑法》，构成故意伤害罪，会被依法追究刑事责任。根据《刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。犯前款罪，致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
二、辱骂与打人的法律关系
- 辱骂行为确实侵犯了他人的名誉权，但这并不能成为你动手打人的合法理由。法律鼓励通过合法、合理的途径解决纠纷，而不是以暴制暴。
三、遇到辱骂时的合法维权途径
保留证据：
- 及时收集辱骂的相关证据，如聊天记录、通话录音、视频、证人证言等。这些证据是后续维权的关键，务必保证其真实性和完整性。
协商解决：
- 尝试与辱骂者直接沟通，要求其停止辱骂行为，并赔礼道歉。这种方式较为平和，可能有效解决问题，避免矛盾进一步激化。
向相关部门反映：
- 若辱骂行为发生在特定场所，如学校、单位等，可向学校老师、单位领导反映，请求介入处理。
报警：
- 辱骂行为违反治安管理处罚法，可报警处理。公安机关会根据情节轻重，对辱骂者进行相应处罚，如警告、罚款、拘留等。
提起民事诉讼：
- 若辱骂行为给自己造成精神损害，可向法院提起民事诉讼，要求辱骂者承担侵权责任，如赔礼道歉、消除影响、赔偿精神损失等。
四、特别提醒
- 在面对辱骂时，保持冷静至关重要。通过合法途径维护自身权益，不仅符合法律规定，也能更有效地解决问题。
- 暴力回击不仅不能解决问题，反而可能使自己陷入法律困境，面临罚款、拘留甚至刑事指控的风险。
综上所述，别人辱骂你时，你不可以打他。你应该通过合法、合理的途径来维护自己的权益。如果你有任何法律问题或需要进一步的法律建议，可以直接向我咨询。