吃饭时被骚扰打了对方，确实有可能承担责任，但具体责任需根据实际情况来判断。

首先，从法律角度来看，如果骚扰行为严重到构成性骚扰或其他违法行为，那么受害者有权采取必要的防卫措施。然而，这种防卫措施必须在法律允许的范围内，且不能超出必要限度。

1. 如果骚扰行为并未构成严重违法，而只是轻微的不当行为：

   • 在这种情况下，如果你直接动手打了对方，那么你的行为可能构成侵权，需要承担相应的民事责任，如赔偿对方因此产生的医疗费用、误工费等。
   • 同时，如果对方的骚扰行为并未达到需要动用暴力的程度，你的暴力反击还可能被视为故意伤害，有可能面临行政处罚，甚至刑事责任。

2. 如果骚扰行为构成性骚扰或其他严重违法行为：

   • 在这种情况下，你采取防卫措施可能有一定的合法性基础，但关键在于你的防卫措施是否适当、是否超出了必要限度。
   • 如果你的防卫措施过当，造成了对方不必要的伤害，那么你仍然需要承担相应的法律责任。

因此，在面对骚扰时，建议首先保持冷静，尽量避免直接冲突。如果骚扰行为严重，可以选择报警或寻求其他合法途径来维护自己的权益。如果确实需要采取防卫措施，也要确保在法律允许的范围内进行，并尽量保持克制，避免造成不必要的伤害。

总之，吃饭时被骚扰打了对方是否有责任，需要根据具体情况来判断。如果你在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。