结论：对诽谤辱骂你的人骂他“无赖”，这一行为本身并不直接构成犯法，但具体是否违法需结合行为的具体情境、方式、后果以及对方的反应等多方面因素来综合判断。

分析如下：

1. 一般情况下的不违法性：

   • 在日常生活中，面对他人的诽谤辱骂，情绪激动之下回骂一句“无赖”，通常被视为一种情绪化的反应，而非有预谋的侮辱或诽谤。这种行为在一般情况下，并不构成违法。因为法律在保护个人名誉权的同时，也允许人们在合理范围内进行自我防卫和情绪表达。

2. 可能构成违法的情形：

   • 持续辱骂或公开侮辱：如果回骂“无赖”只是开始，随后持续对对方进行辱骂，或者将辱骂内容公开传播（如在社交媒体上发布），且造成对方名誉受损，那么这种行为就可能构成侮辱或诽谤，从而违法。
   • 使用暴力或威胁：在回骂的过程中，如果伴随有暴力行为或威胁言论，如“你再这样我就打你”等，那么这种行为就可能构成治安管理处罚法中的寻衅滋事或威胁他人安全，从而违法。
   • 针对特定群体的侮辱：如果回骂的内容涉及对特定群体（如种族、性别、宗教等）的侮辱，那么这种行为就可能构成歧视或仇恨言论，从而违法，并可能受到更严厉的法律制裁。

3. 法律后果与建议：

   • 法律后果：如果回骂行为被认定为违法，可能会面临治安管理处罚（如罚款、拘留）或民事赔偿（如赔偿对方名誉损失）等法律后果。
   • 建议：面对他人的诽谤辱骂，建议保持冷静和理性，避免情绪化的回应。如果感到自己的名誉权受到侵害，可以收集证据（如聊天记录、录音、视频等），并通过法律途径（如报警、起诉等）来维护自己的合法权益。同时，也可以考虑与对方进行沟通协商，寻求和解或道歉等解决方案。

额外提醒：

• 在处理此类纠纷时，务必保留好相关证据，以便在需要时提供证明。
• 如果对方的行为已经构成犯罪（如诽谤罪、侮辱罪等），可以向公安机关报案，由公安机关依法进行侦查和处理。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。