连续扇了20个人每人5巴掌的行为，可能涉及行政处罚或刑事责任，具体需根据行为后果和主观意图综合判断。以下分情况详细说明：

1. 若行为未造成明显身体伤害，但属于公然侮辱他人
   根据《治安管理处罚法》第四十二条，公然侮辱他人或捏造事实诽谤他人的，可处五日以下拘留或五百元以下罚款；情节较重的（如多次实施、在公共场所实施等），处五日以上十日以下拘留，可并处五百元以下罚款。
   关键点：需证明行为具有“公然性”（如当众实施）和“侮辱性”（如贬损人格尊严），即使未造成身体伤害，也可能因侵犯名誉权被处罚。

2. 若行为造成轻微伤（如面部红肿、软组织挫伤等）
   根据《治安管理处罚法》第四十三条，殴打他人的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的（如未造成伤害、主动赔偿等），处五日以下拘留或五百元以下罚款。
   关键点：需通过伤情鉴定确认“轻微伤”标准，若20人中部分人受伤，可能对每个受害者单独处理，行为人可能面临多起行政处罚的合并执行。

3. 若行为造成轻伤及以上后果（如骨折、听力视力损伤等）
   根据《刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或死刑。
   关键点：需通过伤情鉴定确认“轻伤”标准，若20人中部分人达到轻伤，行为人可能因“多次故意伤害”被从重处罚；若多人达到重伤或死亡，可能涉及“故意伤害罪”的加重情节。

4. 若行为伴随其他情节（如寻衅滋事、聚众斗殴等）

• 寻衅滋事：根据《刑法》第二百九十三条，随意殴打他人，情节恶劣的（如多次实施、在公共场所实施、造成公共场所秩序严重混乱等），处五年以下有期徒刑、拘役或管制。
  
• 聚众斗殴：若行为涉及多人互殴，根据《刑法》第二百九十二条，聚众斗殴的，对首要分子和其他积极参加者，处三年以下有期徒刑、拘役或管制；有特定情节（如多次聚众斗殴、持械斗殴等）的，处三年以上十年以下有期徒刑。
  

建议行动：

• 立即停止侵害行为，避免进一步升级；
  
• 主动向受害者道歉并赔偿损失，争取谅解；
  
• 配合公安机关调查，如实陈述事实；
  
• 咨询专业律师，评估法律风险并制定应对策略。
  

如有具体案件细节（如行为场所、受害者身份、是否使用工具等），可进一步向我咨询，我会结合实际情况提供更精准的法律分析。