辱骂退伍军人家属和孩子是违法的，这种行为可能涉及多个层面的法律责任，具体分析如下：

一、民事责任层面

从民事角度看，辱骂行为可能侵犯了他人的名誉权。名誉权是公民的基本权利之一，受法律保护。辱骂退伍军人家属和孩子，会导致其社会评价降低，受害者有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿精神损害抚慰金等损失。这是基于《中华人民共和国民法典》中关于人格权保护的相关规定，虽然直接法条未明确提及“辱骂”，但名誉权受损是辱骂行为的直接后果，法律对此有明确的保护。

二、治安管理处罚层面

根据《中华人民共和国治安管理处罚法》的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。辱骂退伍军人家属和孩子，如果情节较轻，未造成严重后果，一般属于违反该法的行为，公安机关可对侵权人进行相应的行政处罚。

三、刑事责任层面

1. 侮辱罪：如果辱骂行为情节严重，比如导致被辱骂者精神失常、自杀等严重后果，或者多次辱骂、在公共场所公然辱骂并造成恶劣社会影响等，可能构成侮辱罪。侮辱罪是指使用暴力或者以其他方法，公然贬损他人人格，破坏他人名誉，情节严重的行为，可处三年以下有期徒刑、拘役、管制或者剥夺政治权利。

2. 侵害英雄烈士名誉、荣誉罪（如适用）：根据《中华人民共和国英雄烈士保护法》，如果辱骂的是英烈的家属，且行为严重损害了英雄烈士的名誉和荣誉，还可能涉及侵害英雄烈士名誉、荣誉罪，同样面临三年以下有期徒刑、拘役、管制或者剥夺政治权利的刑罚。不过，这一罪名主要针对的是对英雄烈士本人的侮辱或诽谤，对其家属的辱骂是否构成此罪需根据具体情节判断。

法律建议

• 保留证据：如果遭遇辱骂，应尽可能保留相关证据，如录音、录像、聊天记录等，以便后续维权。
• 及时报警：对于情节严重的辱骂行为，应及时向公安机关报案，由公安机关依法处理。
• 提起民事诉讼：如果辱骂行为导致名誉权受损，受害者还可以向法院提起民事诉讼，要求侵权人承担相应的民事责任。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供更详细、更专业的法律建议。