结论前置：恶语骂残疾听力人可能构成违法，具体是否违法需结合辱骂行为的情节、后果等因素综合判断。
法律分析：
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、荣誉权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。残疾听力人作为自然人，同样享有这些权利。
- 恶语辱骂残疾听力人，若导致其社会评价降低、名誉受损，即构成对其名誉权的侵害，依法应承担民事责任。
治安管理处罚：
- 根据《中华人民共和国治安管理处罚法》的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 若辱骂行为达到公然侮辱的程度，且情节较重，如多次辱骂、在公共场所辱骂等，则可能受到治安管理处罚。
刑事责任：
- 在极端情况下，若辱骂行为情节特别恶劣，如长期、持续辱骂，导致残疾听力人精神受到严重损害，甚至引发自杀等严重后果，辱骂者可能构成侮辱罪，依法应承担刑事责任。
- 根据《中华人民共和国刑法》的规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
法律建议：
- 若残疾听力人遭受恶语辱骂，建议首先保留相关证据，如录音、录像、证人证言等，以便后续维权。
- 可向公安机关报案，要求对辱骂者进行治安管理处罚。若辱骂行为构成犯罪，公安机关将依法立案侦查。
- 残疾听力人也可向人民法院提起民事诉讼，要求辱骂者承担民事责任，如赔偿精神损害抚慰金等。
特殊情况考虑：
- 若辱骂行为发生在家庭内部，如夫妻之间、父母与子女之间，虽然同样构成违法，但处理方式可能有所不同，需结合家庭关系、情节严重程度等因素综合判断。
- 若辱骂者是未成年人，根据其年龄和认知能力，可能承担相应的法律责任，但处理方式也会更加注重教育和矫治。
总结：恶语骂残疾听力人可能构成违法，具体是否违法需结合辱骂行为的情节、后果等因素综合判断。残疾听力人在遭受辱骂时，应积极维权，保留证据，并向公安机关报案或向人民法院提起诉讼。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。