核心结论：这种情况可能涉及民事赔偿、行政责任或刑事责任认定问题，具体处理方式需根据实际情况判断，以下分情况说明。

民事赔偿角度

1. 责任划分：在争吵场景中，虽然残疾人想打你，但最终是其自己失去重心摔倒成轻伤。如果从民事侵权角度分析，需要判断你在整个事件中是否存在过错行为。若你在争吵过程中有故意推搡、拉扯等积极行为，导致对方失去重心摔倒，那么你可能需要承担一定的民事赔偿责任，赔偿范围通常包括对方的医疗费、误工费、护理费等因受伤而产生的合理费用。赔偿比例会根据双方的过错程度来确定，例如若认定你承担 30%的过错，那么你就按照这个比例对对方的损失进行赔偿。
2. 无过错情况：如果你在争吵中只是正常地表达自己的观点，没有实施任何主动侵害对方身体的行为，对方是因为自身情绪激动、身体原因（如残疾人自身身体平衡能力较差）等因素导致失去重心摔倒，那么从民事侵权角度，你可能无需承担赔偿责任。不过，如果对方因此向你主张赔偿，对方需要承担举证责任，证明你的行为与他的受伤之间存在因果关系以及你存在过错。

行政责任角度

1. 一般争吵情况：如果争吵过程中双方只是言语上的冲突，没有发生肢体上的推搡、殴打等行为，即使对方摔倒受伤，通常也不会涉及行政责任问题。因为行政责任一般是对违反治安管理等行政法规的行为进行处罚，单纯的争吵不符合行政处罚的构成要件。
2. 存在轻微肢体冲突情况：若在争吵过程中，你有一些轻微的肢体动作，但尚未达到故意伤害罪的犯罪程度，根据《中华人民共和国治安管理处罚法》的规定，可能会被认定为殴打他人或者故意伤害他人身体的行为。不过，由于对方是自己摔倒成轻伤，并非你直接殴打导致，在认定行政责任时会综合考虑各种因素。如果最终认定你存在一定过错，可能会对你处以警告、罚款或者行政拘留等处罚，但处罚会相对较轻。

刑事责任角度

1. 不构成犯罪情况：从你描述的情况来看，对方是自己失去重心摔倒成轻伤，一般情况下你不构成故意伤害罪等刑事犯罪。因为故意伤害罪要求行为人主观上有伤害他人的故意，客观上实施了伤害他人的行为，并且导致他人轻伤以上的后果。而在此事件中，你没有主动实施伤害对方的行为，对方的受伤是其自身原因导致的，所以不满足故意伤害罪的构成要件。
2. 特殊情况：如果在争吵过程中，你虽然不是直接推倒对方，但你的行为与对方的摔倒存在一定关联，且你的行为存在明显过错，例如你故意激怒对方，导致对方情绪失控而摔倒受伤，在极端情况下，可能会被认定为过失致人重伤罪（如果对方伤情达到重伤程度）或者存在一定的过错责任，但这种情况非常少见，需要结合具体的证据和情节进行综合判断。

建议：在这种情况下，你可以先与对方进行沟通协商，看是否能够就赔偿等问题达成一致意见。如果协商不成，对方可能会通过法律途径解决，此时你可以收集相关证据，如争吵现场的证人证言、监控视频等，以证明自己在事件中的行为和责任情况。如果对方报警或者向法院起诉，你可以积极配合调查和诉讼程序，维护自己的合法权益。如果你对具体的法律责任和处理方式还有疑问，可以直接向我咨询。