结论：打人者是否犯罪，取决于智障人士被打后自残这一行为与打人者行为之间的因果关系，以及打人者主观上是否存在过错，不能一概而论。下面我将从不同情况为你详细分析：

一、打人者行为与智障人士自残行为存在直接因果关系，且打人者主观上存在故意或过失

1. 打人者主观上存在故意

   • 情况说明：如果打人者明知自己的行为会导致智障人士受伤，甚至可能引发其自残等严重后果，却仍然希望或放任这种结果发生，那么打人者的行为就构成了故意伤害罪（若自残行为导致严重后果，如重伤或死亡，则可能构成更严重的犯罪）。
   • 法律依据：根据《中华人民共和国刑法》第二百三十四条的规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。

2. 打人者主观上存在过失

   • 情况说明：如果打人者应当预见自己的行为可能导致智障人士受伤或自残，但因为疏忽大意而没有预见，或者虽然预见但轻信能够避免，那么打人者的行为就构成了过失致人重伤罪或过失致人死亡罪（取决于自残行为的后果）。
   • 法律依据：根据《中华人民共和国刑法》第二百三十五条的规定，过失伤害他人致人重伤的，处三年以下有期徒刑或者拘役。本法另有规定的，依照规定。若导致死亡，则可能构成过失致人死亡罪，处三年以上七年以下有期徒刑；情节较轻的，处三年以下有期徒刑。

二、打人者行为与智障人士自残行为不存在直接因果关系，或打人者主观上不存在过错

1. 不存在直接因果关系

   • 情况说明：如果智障人士的自残行为并非由打人者的行为直接引发，而是由于其他原因（如自身情绪失控、精神疾病发作等），那么打人者的行为与智障人士的自残行为之间就不存在直接因果关系。在这种情况下，打人者通常不构成犯罪。

2. 打人者主观上不存在过错

   • 情况说明：如果打人者在实施行为时，主观上并没有伤害智障人士的故意或过失，而是由于正当防卫、紧急避险等合法原因而实施的行为，那么打人者也不构成犯罪。但需要注意的是，正当防卫或紧急避险必须符合法律规定的条件，否则可能构成防卫过当或避险过当，需要承担相应的法律责任。

三、特殊情况：智障人士的刑事责任能力

• 情况说明：虽然本问题主要关注的是打人者的刑事责任，但也需要考虑智障人士的刑事责任能力。如果智障人士在自残过程中对他人造成了伤害，且其具备相应的刑事责任能力（即能够辨认或控制自己的行为），那么其也可能需要承担刑事责任。然而，在本问题中，我们主要关注的是打人者的行为，因此这一点仅作为额外信息提供。

建议：在处理此类案件时，应首先收集相关证据，包括现场监控录像、证人证言、医疗记录等，以证明打人者的行为与智障人士自残行为之间的因果关系以及打人者的主观过错。同时，建议及时咨询专业律师，以便更准确地评估案件情况并制定相应的法律策略。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。