结论：哥哥作为智障人给别人打了，弟弟是否有责任需根据具体情况判断，主要取决于哥哥的民事行为能力、弟弟的监护责任以及侵权行为的具体情况。以下是对此问题的详细分析：
哥哥的民事行为能力：
- 若哥哥是完全无民事行为能力人（如因智力障碍无法辨认自己行为），则其造成的损害由其监护人（通常是父母，若父母已故或无法履行监护职责，则可能是其他近亲属，如弟弟在特定条件下可能成为监护人）承担侵权责任。
- 若哥哥是限制民事行为能力人（如能部分辨认自己行为但能力受限），则其造成的损害，监护人需承担相应责任，但哥哥自身也可能需承担一定责任，具体取决于其辨认和控制自己行为的能力。
- 若哥哥是完全民事行为能力人（尽管智障，但能完全辨认和控制自己行为），则其需自行承担侵权责任，弟弟通常无需承担责任，除非弟弟存在教唆、帮助等行为。
弟弟的监护责任：
- 若弟弟是哥哥的监护人，且哥哥是无或限制民事行为能力人，则弟弟需对哥哥的侵权行为承担监护责任，包括赔偿受害者损失等。
- 若弟弟不是哥哥的监护人，则通常无需对哥哥的侵权行为承担责任，除非存在特殊情况，如弟弟教唆、帮助哥哥实施侵权行为。
侵权行为的具体情况：
- 侵权行为的具体情况，如哥哥打人的原因、过程、后果等，也会影响责任的划分。例如，若哥哥是在受到他人挑衅或攻击后反击，且反击行为未超出必要限度，则可能构成正当防卫，无需承担责任。
- 若哥哥打人行为构成犯罪（如故意伤害罪），则需依法追究其刑事责任，同时民事赔偿责任仍需根据民事行为能力情况确定。
法律建议：
- 面对此类情况，首先需确定哥哥的民事行为能力状态，这通常需要通过专业鉴定或法院宣告来确定。
- 若哥哥是无或限制民事行为能力人，且弟弟是监护人，则弟弟需积极履行监护职责，防止哥哥再次实施侵权行为，并妥善处理已发生的侵权纠纷。
- 若弟弟不是监护人，但担心哥哥可能再次实施侵权行为或已发生侵权纠纷，建议及时与哥哥的监护人沟通，并考虑向相关部门（如社区、警方）报告，以便共同采取措施防止类似事件再次发生。
- 在处理侵权纠纷时，建议保留相关证据（如现场照片、视频、证人证言等），以便在需要时证明侵权事实和责任划分。
可能法律后果：
- 若哥哥需承担侵权责任，且其无或限制民事行为能力，则其监护人（可能是弟弟或其他近亲属）需承担赔偿责任，包括赔偿受害者医疗费、误工费、精神损害抚慰金等。
- 若哥哥的行为构成犯罪，则需依法追究其刑事责任，同时可能面临民事赔偿责任的叠加。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。