结论：对方扇你一巴掌你扇回去，这一行为是否犯法，需根据具体情况从民事、行政及刑事三个层面进行综合分析。总体而言，动手打人是不被法律所容许的行为，无论出于何种原因，都不应采取暴力手段解决问题。
一、民事层面
- 身体权、健康权侵犯：你扇回去的行为同样侵犯了对方的身体权、健康权。无论是否造成实际身体损伤，对方都有权要求你承担民事责任，如赔礼道歉、赔偿因就医治疗支出的各项费用等。
- 精神损害赔偿：若你的行为对对方的名誉等造成损害，对方还可以主张精神损害赔偿。
二、行政层面
- 一般情况：根据《中华人民共和国治安管理处罚法》第四十三条的规定，殴打他人或故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款。情节较轻的，处五日以下拘留或者五百元以下罚款。这意味着，即使你是出于反击，但如果你的行为被认定为殴打他人，你也可能面临行政处罚。
- 严重情形：若存在《治安管理处罚法》所规定的严重情形之一的（如结伙殴打、伤害他人，多次殴打、伤害他人或者一次殴打、伤害多人等），将处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。
三、刑事层面
- 轻伤及以上后果：若你扇回去的行为造成了对方轻伤以上的后果，则可能触犯《中华人民共和国刑法》，构成故意伤害罪。根据《刑法》第二百三十四条的规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
- 特殊情况：即使只是单纯扇一巴掌，但在某些特殊情况下（如用力过猛导致对方耳膜穿孔等），若经鉴定构成轻伤，你也同样可能面临刑事处罚。
四、特殊情况考量
- 正当防卫：在极少数情况下，如果你的行为被认定为正当防卫，即你为了保护自己的人身安全而采取的必要的防卫行为，且没有超过必要的限度，那么你可能不承担法律责任。但这种情况的认定非常严格，需要满足多个条件，如防卫行为必须针对正在进行的不法侵害、防卫行为必须是为了保护合法权益、防卫行为必须没有超过必要的限度等。
五、建议
- 保持冷静：在遇到纠纷或矛盾时，建议保持冷静，通过合法途径解决问题，避免采取暴力手段。
- 及时报警：若不幸遭遇此类事件，应及时报警并寻求法律援助，以保护自己的合法权益。
- 收集证据：在可能的情况下，尽量收集相关证据，如现场照片、视频、证人证言等，以便在后续的法律程序中证明自己的权益。
综上所述，对方扇你一巴掌你扇回去的行为是否犯法，取决于具体后果的严重程度以及是否满足正当防卫等特殊情况。在遇到此类事件时，建议保持冷静，通过合法途径解决问题，并及时寻求法律援助。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。