结论：小孩打架时，大人拿小孩的手打回去是违法的，可能涉及民事、行政及刑事责任。

详细分析如下：

一、民事法律责任

1. 健康权侵害：大人拿小孩的手打回去，若对另一方小孩造成身体伤害，如擦伤、淤青等，即侵害了其健康权。根据《中华人民共和国民法典》的相关规定，受害小孩的监护人有权要求动手的大人承担民事赔偿责任。赔偿范围通常包括医疗费、护理费等为治疗和康复支出的合理费用。
2. 精神损害赔偿：若大人的行为对小孩的心理等方面造成不良影响，且经鉴定达到一定程度，还可能涉及精神损害赔偿。这要求大人承担因其行为给小孩造成的精神痛苦和损失。

二、行政法律责任

1. 治安管理处罚：根据《中华人民共和国治安管理处罚法》，大人动手殴打小孩，即使伤害程度较轻，未达到轻伤标准，也可能因涉嫌殴打他人或故意伤害他人身体而受到行政处罚。处罚措施可能包括拘留、罚款等。具体处罚力度会根据行为的严重程度和造成的后果来决定。

三、刑事法律责任

1. 故意伤害罪：若大人动手的情节严重，对小孩造成了轻伤及以上的伤害后果，则可能触犯《中华人民共和国刑法》，构成故意伤害罪。依据伤害程度的不同，可能面临的刑罚也有所不同。例如，造成轻伤的，可能处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。

四、特殊情况考量

虽然大人在某些情况下可能出于保护孩子的目的而动手，但正当防卫的认定极为严格。防卫行为必须针对正在进行的不法侵害，且防卫行为没有明显超过必要限度造成重大损害。在实践中，对于正当防卫的认定需要结合具体情况进行判断，且通常难以成立。因此，大人不能仅凭“保护孩子”的理由而随意动手。

建议：作为家长或监护人，在小孩发生打架等情况时，应首先保持冷静和理智，通过沟通、协商或其他合法途径来解决问题。如果遇到无法处理的情况，应及时寻求法律途径来解决纠纷和维护自己的合法权益，而不是采取暴力手段。若您有相关法律问题，可以直接向我咨询。