针对残疾人多次辱骂公务员的情况，首先需明确的是，无论辱骂者是否为残疾人，辱骂行为本身都是不恰当的，且可能违反法律法规。以下是从不同角度对此问题的详细分析：
一、法律角度
《中华人民共和国治安管理处罚法》的相关规定：
- 根据该法，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 若辱骂行为构成对公务员名誉的侵害，且情节严重，可能还涉及《中华人民共和国刑法》中关于侮辱罪的规定，即使用暴力或者以其他方法，公然贬损他人人格，破坏他人名誉，情节严重的行为。但需注意，侮辱罪一般属于自诉案件，即需要被害人自行向法院提起诉讼。
特殊群体的法律保护：
- 虽然残疾人作为特殊群体，在法律上享有一定的保护和优惠，但这并不意味着他们可以免受法律制裁。对于残疾人的违法行为，法律同样会进行追究，只是在执行过程中可能会考虑其残疾状况，采取更为人性化的处理方式。
二、实际处理建议
公务员的应对方式：
- 公务员在面对辱骂时，应保持冷静，避免与辱骂者发生直接冲突。
- 可以记录下辱骂的时间、地点、内容以及辱骂者的特征，以便后续报警或向相关部门反映。
- 若辱骂行为持续发生，且对公务员的工作和生活造成严重影响，应及时向单位领导或相关部门报告，并考虑通过法律途径维护自身权益。
对残疾人的处理：
- 在处理残疾人辱骂公务员的事件时，应充分考虑其残疾状况，避免采取过于严厉或刺激性的措施。
- 可以尝试与残疾人或其家属进行沟通，了解其辱骂的原因和背景，寻求和解或调解的可能性。
- 若沟通无果，且辱骂行为持续发生，可以依法向公安机关报案，由公安机关根据具体情况进行处理。
三、可能的法律后果
对辱骂者的法律后果：
- 若辱骂行为被认定为违反治安管理处罚法，辱骂者可能面临拘留或罚款的处罚。
- 若辱骂行为构成侮辱罪，且被害人提起诉讼，辱骂者可能面临刑事责任的追究。
对公务员的影响：
- 公务员在面对辱骂时，应依法维护自身权益，避免因处理不当而引发更大的纠纷或冲突。
- 若公务员在处理辱骂事件过程中存在过错或不当行为，也可能面临相应的法律责任或纪律处分。
总结与建议：残疾人多次辱骂公务员的行为是不恰当的，且可能违反法律法规。公务员在面对此类情况时，应保持冷静，依法维护自身权益。同时，对于残疾人的违法行为，法律同样会进行追究，但在处理过程中应充分考虑其残疾状况，采取更为人性化的处理方式。若遇到此类问题，可以直接向我咨询，我会根据具体情况提供更为详细的法律建议。