结论：在对方先打人的情况下，您拿扫把进行反击是否犯法，需根据具体情况来判断，可能构成正当防卫，也可能构成防卫过当或互殴等情形。
分析如下：
正当防卫的情形：
- 根据《中华人民共和国刑法》第二十条的规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
- 在对方先动手打人的情况下，如果您拿扫把是为了制止对方的不法侵害，且防卫行为没有超过必要限度，那么您的行为可能构成正当防卫，不犯法。
防卫过当的情形：
- 正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。
- 如果您拿扫把反击时，对方已经停止侵害或者您反击的力度明显超过了制止侵害所需的力度，导致对方受到严重伤害，那么您的行为可能构成防卫过当，需要承担相应的法律责任。
互殴的情形：
- 如果双方在打斗过程中，均存在主动攻击对方的行为，且难以区分谁先动手或防卫行为是否适度，那么可能被认定为互殴。
- 在互殴的情况下，双方都可能因违反治安管理处罚法或刑法而受到处罚，具体取决于打斗的严重程度和造成的后果。
建议：
- 在遇到类似情况时，首先应尽量保持冷静，避免情绪失控导致行为过激。
- 如果对方正在实施不法侵害，您可以采取适当的防卫措施，但应注意防卫行为的必要性和适度性，避免造成不必要的伤害。
- 如果可能的话，尽量寻求周围人的帮助或报警处理，以维护自己的合法权益。
后续行动：
- 如果您已经因此事被卷入法律纠纷中，建议您及时咨询专业律师，了解自己的权利和义务，以及可能面临的法律后果。
- 根据律师的建议，积极配合调查和处理工作，以维护自己的合法权益。
如果您有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询，我会根据您的具体情况提供专业的法律帮助。