结论：是否构成“殴打残疾人”，需结合具体情节判断，但你的行为可能涉及正当防卫或防卫过当的认定，而非单纯以对方残疾身份直接定性。以下从法律角度详细分析：

一、是否构成“殴打残疾人”需满足双重条件

根据《治安管理处罚法》第43条，殴打他人或故意伤害他人身体的，处拘留并罚款；但若殴打对象为“残疾人、孕妇、未成年人或老年人”，则处罚更重。构成该条款需同时满足两个条件：

1. 行为性质：存在主动攻击行为（如推搡、击打等）；
2. 对象身份：对方确属法律定义的残疾人（需持有《残疾人证》或经鉴定符合残疾标准）。

本案关键点：你回击的行为是否属于“主动攻击”？若对方先动手用石头攻击你三次，你的回击可能被认定为防卫行为，而非单纯“殴打”。此时，对方残疾身份仅影响处罚幅度，不直接决定行为性质。

二、你的行为可能涉及正当防卫或防卫过当

根据《刑法》第20条及《民法典》第181条，正当防卫需满足以下条件：

1. 不法侵害现实存在：对方用石头攻击你三次，已构成现实侵害；
2. 不法侵害正在进行：你回击时对方攻击行为未停止；
3. 防卫行为针对侵害人：你仅针对对方本人反击；
4. 防卫未明显超过必要限度：需结合双方伤害结果判断。

本案分析：

• 若你仅用必要手段（如推开、格挡）制止对方攻击，未主动追击或使用工具，且仅造成对方轻微伤，可能构成正当防卫，无需承担责任；
• 若你回击时对方已停止攻击（如石头掉落或后退），或你使用工具（如棍棒）导致对方轻微伤，可能被认定为防卫过当，需承担部分民事赔偿或行政责任，但通常不构成刑事犯罪。

三、对方残疾身份对案件的影响

即使对方是残疾人，其先动手行为仍属于过错方。根据《民法典》第1173条，被侵权人对损害发生也有过错的，可减轻侵权人责任。本案中：

• 若你被认定为正当防卫，对方残疾身份不影响责任划分；
• 若你被认定为防卫过当，对方残疾身份可能成为法院酌情减轻你责任的理由（如减少赔偿比例），但不会改变行为定性。

四、实务建议

1. 固定证据：立即报警并保留现场照片、视频、证人联系方式，证明对方先动手及你回击的必要性；
2. 申请伤情鉴定：若对方主张你故意伤害，需通过鉴定证明其伤情系防卫行为导致，且未超出必要限度；
3. 咨询律师：若面临行政处罚或民事索赔，可委托律师结合证据材料主张正当防卫，争取免责或减责。

总结：你的行为是否构成“殴打残疾人”需结合防卫情节判断，而非单纯以对方残疾身份定性。若能证明回击属于正当防卫，则无需承担责任；若防卫过当，也仅需承担部分责任。建议尽快固定证据并咨询律师，以维护合法权益。