结论：无缘无故被人打了，不建议直接打回去，因为这可能涉及违法甚至犯罪行为。下面我从法律角度为你详细分析：
一、直接打回去可能涉及的法律后果
正当防卫的认定：
- 根据《中华人民共和国刑法》第二十条的规定，正当防卫是为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。但正当防卫的认定需要满足多个条件，包括不法侵害正在进行、防卫行为具有必要性、防卫行为没有明显超过必要限度等。
- 在你描述的情境中，如果对方只是打了你一下，并未继续实施不法侵害，而你此时选择打回去，可能并不构成正当防卫，而是被视为一种报复行为，可能面临法律责任。
可能涉及的罪名：
- 如果你打回去的行为导致对方受伤，且伤势达到一定程度（如轻伤以上），你可能涉嫌故意伤害罪。根据《中华人民共和国刑法》第二百三十四条的规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。
- 此外，如果你的行为被认定为寻衅滋事或故意殴打他人，还可能面临行政处罚，如拘留、罚款等。
二、建议采取的法律措施
及时报警：
- 在遭遇不法侵害时，首先应保持冷静，及时报警。警方会介入调查，并根据情况对加害人进行处罚。
- 报警后，警方会出具报警回执，这是后续维权的重要证据。
收集证据：
- 尽可能收集与事件相关的证据，如现场照片、视频、证人证言等。这些证据将有助于证明你的无辜和加害人的过错。
- 如果受伤，应及时就医并保留好医疗记录，作为伤势鉴定的依据。
寻求法律援助：
- 如果事件对你的身心造成了较大影响，你可以考虑寻求法律援助。律师将为你提供专业的法律建议，帮助你维护自己的合法权益。
- 在律师的指导下，你可以向加害人提起民事诉讼，要求其赔偿你的医疗费、误工费、精神损害抚慰金等损失。
三、特殊情况下的处理
- 如果对方持续实施不法侵害：
- 在这种情况下，你可以采取必要的防卫措施来保护自己。但防卫行为必须适度，不得明显超过必要限度造成重大损害。
- 如果防卫行为导致对方受伤，你应及时向警方说明情况，并配合调查。如果防卫行为被认定为正当防卫，你将不承担法律责任。
总结与建议：无缘无故被人打了，不建议直接打回去。相反，你应该保持冷静，及时报警并收集证据。在律师的指导下，你可以通过法律途径维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。