辱骂退役军人家属是违法的，需根据具体情节和后果来确定可能涉及的罪名或法律责任。以下是从不同角度对此问题的详细分析：

一、民事侵权责任

从民事角度看，辱骂退役军人家属的行为侵犯了他人的名誉权。名誉权是公民或法人对自己在社会生活中所获得的社会评价依法享有的不可侵犯的权利。辱骂行为会导致其社会评价降低，因此，家属有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿精神损害抚慰金等损失。

二、治安管理处罚

根据《中华人民共和国治安管理处罚法》的相关规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。如果辱骂行为情节较轻，公安机关可对侵权人进行批评教育、训诫等；若情节较重，则可能面临拘留和罚款的处罚。

三、刑事责任

1. 侮辱罪：

   • 如果辱骂行为情节严重，比如导致被辱骂者精神失常、自杀等严重后果，或者多次辱骂、在公共场所公然辱骂并造成恶劣社会影响等，可能构成侮辱罪。侮辱罪是指使用暴力或者以其他方法，公然贬损他人人格，破坏他人名誉，情节严重的行为。根据《中华人民共和国刑法》的相关规定，可处三年以下有期徒刑、拘役、管制或者剥夺政治权利。

2. 其他相关罪名：

   • 如果辱骂行为伴随有其他恶劣行为，如追逐、拦截、恐吓等，且情节恶劣，可能构成寻衅滋事罪等其他罪名。这些罪名的构成和处罚依据《中华人民共和国刑法》的相关规定。

四、管理部门的确定

对于辱骂退役军人家属的行为，根据不同情况，可由以下部门管理：

1. 公安机关：

   • 对于违反治安管理处罚法的行为，由公安机关负责调查和处理。公安机关有权对侵权人进行拘留、罚款等处罚。

2. 人民法院：

   • 对于构成犯罪的行为，如侮辱罪等，由人民法院负责审理和判决。被害人或其家属可以向人民法院提起诉讼，要求追究侵权人的刑事责任。

建议与总结：

• 辱骂退役军人家属是不被法律允许的行为，不仅违反了法律法规，也违背了社会道德。
• 如果您遭遇了此类情况，建议首先保留相关证据，如录音、录像、证人证言等。
• 然后，您可以向当地公安机关报案，要求其对侵权人进行调查和处理。
• 如果辱骂行为情节严重，构成了犯罪，您还可以向人民法院提起诉讼，要求追究侵权人的刑事责任。

在日常生活中，我们应当尊重他人，尤其是对待退役军人及其家属这一特殊群体，更应给予应有的敬意和关怀。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。