结论：您拿毛巾砸向乱骂人者的行为是否犯法，需根据具体情况判断，可能涉及违法但不必然构成犯罪。以下从不同角度进行分析：

1. 行为性质分析：

   • 一般违法行为：若您的行为未造成对方身体伤害或仅造成轻微伤害，且未伴随其他恶劣情节，该行为可能被视为违反《中华人民共和国治安管理处罚法》的寻衅滋事或殴打他人行为。根据该法第四十三条，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。若您拿毛巾砸人的行为被认定为“殴打他人”或“寻衅滋事”，则可能面临相应的行政处罚。
   • 犯罪行为：若您的行为导致对方轻伤及以上伤害，则可能构成《中华人民共和国刑法》中的故意伤害罪。根据刑法第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。但在此案例中，由于您使用的是毛巾，通常造成轻伤及以上伤害的可能性较小，但并非完全不可能，需根据具体伤害情况判断。

2. 法律后果考量：

   • 行政处罚：如前所述，若行为被认定为一般违法行为，您可能面临拘留、罚款等行政处罚。这些处罚旨在维护社会秩序和公共安全，对轻微违法行为进行惩戒。
   • 民事赔偿：无论您的行为是否构成犯罪，若给对方造成身体伤害或财产损失，您都可能需要承担民事赔偿责任。这包括医疗费、误工费、护理费等因伤害产生的合理费用。

3. 情境因素与自卫权：

   • 情境因素：在判断您的行为是否违法时，还需考虑当时的情境因素。例如，若对方持续辱骂且对您构成精神威胁，您在情绪激动下采取的行动可能被视为一种应激反应。然而，这并不意味着您可以完全免除法律责任，而是可能在量刑或处罚时予以考虑。
   • 自卫权：在法律上，自卫权是有限度的。若您的行为超出了必要的防卫限度，即使用了过度的暴力或采取了不必要的防卫措施，则可能不被视为正当防卫，而需承担相应的法律责任。

建议：

• 保持冷静：在面对冲突时，尽量保持冷静和理智，避免采取过激行为。
• 寻求合法途径解决：若对方持续辱骂或侵犯您的权益，您可以考虑通过报警、寻求调解或提起民事诉讼等合法途径来维护自己的权益。
• 咨询专业律师：若您对此事仍有疑问或担心可能面临的法律责任，建议直接向我咨询。我可以根据您的具体情况提供更详细的法律建议和帮助。