若对方是法律意义上的无民事行为能力人或限制民事行为能力人（如弱智人士），您直接“打回去”的行为可能涉及违法，需根据具体情况承担相应法律责任，但可通过合法途径维护自身权益。以下分情况具体说明：
若对方打人行为未造成明显伤害，您“打回去”可能构成治安违法
根据《治安管理处罚法》第四十三条，殴打他人的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。即使对方是弱智人士，其打人行为可能因缺乏主观故意（如无法控制行为）而不构成违法，但您“打回去”的行为若被认定为“故意伤害他人身体”，则可能面临行政处罚。
建议：立即停止肢体冲突，通过报警、向监护人或社区工作人员求助等方式处理，避免矛盾升级。
若对方打人行为造成您轻微伤及以上伤害，您“打回去”可能构成防卫过当或故意伤害
根据《刑法》第二十条，正当防卫需满足“不法侵害正在进行、针对不法侵害人、未明显超过必要限度”等条件。若对方打人行为未对您造成严重威胁（如仅推搡、轻微击打），您“打回去”导致对方受伤的，可能被认定为防卫过当，需承担刑事责任（但可减轻或免除处罚）；若对方打人行为已停止，您事后报复的，则构成故意伤害罪，需根据伤害后果（轻伤、重伤）承担相应刑事责任。
建议：优先保护自身安全，尽量躲避或用手臂等部位阻挡攻击，避免主动反击；若已受伤，立即报警并保留医疗记录、现场照片等证据，通过法律途径要求对方监护人承担民事赔偿责任（如医疗费、误工费等）。
对方监护人需承担民事赔偿责任
根据《民法典》第一千一百八十八条，无民事行为能力人、限制民事行为能力人造成他人损害的，由监护人承担侵权责任。若对方是弱智人士且无独立民事行为能力，其打人行为导致的损害后果（如您的医疗费、财产损失等），可要求其监护人赔偿。
建议：收集证据（如监控录像、证人证言、医疗记录等），向监护人提出书面赔偿要求；若协商无果，可向法院提起民事诉讼，要求监护人赔偿损失。
总结：面对弱智人士的攻击，您需保持冷静，避免以暴制暴，优先通过报警、求助监护人或社区等方式化解矛盾；若已受伤，务必保留证据并依法维权，既保护自身权益，也避免因不当行为承担法律责任。如有进一步疑问，可直接向我咨询。