殴打残疾军人且拒绝调解的，将面临行政处罚或刑事处罚，同时需承担民事赔偿责任。具体处理方式如下：

1. 行政处罚：

   • 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
   • 若存在结伙殴打、伤害残疾人、孕妇等特定情形，将面临更严厉的处罚，即十日以上十五日以下拘留，并处五百元以上一千元以下罚款。残疾军人作为受国家保护的特殊群体，殴打他们属于加重处罚的情形。

2. 刑事处罚：

   • 如果殴打行为导致残疾军人受到轻伤及以上伤害，那么行为人可能构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
   • 残疾军人因公致残或因战致残的，法律对其保护更为严格，殴打此类残疾军人可能面临更重的刑事处罚。

3. 民事赔偿：

   • 无论是否受到行政处罚或刑事处罚，殴打残疾军人的行为人都需承担民事赔偿责任。这包括赔偿残疾军人的医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。
   • 如果残疾军人因殴打行为导致残疾，行为人还需赔偿辅助器具费和残疾赔偿金。

4. 处理流程：

   • 残疾军人或其家属应立即报警，由公安机关进行调查取证。
   • 公安机关会根据调查结果，对行为人进行行政处罚或移送检察机关审查起诉。
   • 在刑事诉讼过程中，残疾军人或其家属可以提起附带民事诉讼，要求行为人承担民事赔偿责任。
   • 如果行为人拒绝调解或无法达成调解协议，残疾军人或其家属可以通过诉讼途径维护自己的合法权益。

建议：面对此类情况，残疾军人或其家属应保持冷静，及时报警并保留好相关证据，如医疗记录、证人证言等。同时，可以寻求法律援助或咨询专业律师，以便更好地维护自己的合法权益。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。