结论：打残疾人两回，打了十几二十个巴掌，若不接受调解，是否会被拘留需视具体情节和伤情鉴定结果而定，但存在被拘留的可能性。

分析说明：

1. 行为性质：

   • 打人行为，无论对象是否为残疾人，都可能构成违反治安管理的行为，甚至可能构成犯罪，具体取决于伤情的严重程度。
   • 残疾人作为社会弱势群体，法律对其有特别的保护。对残疾人实施暴力行为，可能会受到更严厉的法律制裁。

2. 法律后果：

   • 治安管理处罚：根据《中华人民共和国治安管理处罚法》的相关规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。若存在结伙殴打、伤害残疾人等情形，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。
   • 刑事责任：如果打人行为导致残疾人轻伤或以上后果，那么可能构成故意伤害罪，需要承担刑事责任。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。

3. 调解的影响：

   • 调解是解决民事纠纷的一种方式，如果双方能够达成调解协议，并且打人方能够积极履行调解协议中的义务（如赔偿损失、赔礼道歉等），那么可能会减轻或免除其法律责任。
   • 如果不接受调解，或者调解后不履行调解协议，那么公安机关或法院可能会根据具体情况，对打人方进行治安管理处罚或追究其刑事责任。

特殊场景：

• 在本案例中，由于被打对象是残疾人，且打人行为发生了两次，打了十几二十个巴掌，这显示出打人行为的恶劣性和持续性。因此，即使不接受调解，打人方也很可能面临治安管理处罚，甚至可能构成犯罪。

行动建议：

• 对于打人方：应认识到自己行为的严重性，积极与被打方进行沟通，争取达成调解协议，并积极履行调解协议中的义务。如果无法达成调解或调解后不履行义务，应做好接受法律制裁的准备。
• 对于被打方：应及时报警，并保留好相关证据（如伤情照片、医疗记录等）。如果可能的话，可以寻求法律援助或咨询专业律师，以维护自己的合法权益。

如果有任何进一步的法律疑问或需要具体的法律帮助，可以直接向我咨询。