结论：如果对方声称你们打人了，但实际上你们并没有打他，这本身并不直接构成犯法行为。然而，是否犯法还需根据具体情况和证据来判断，若对方无端指责且造成你们名誉等损害，你们可能还有权要求对方承担相应责任。以下从多个角度进行分析：

1. 无实际打人行为的情况：

   • 如果你们确实没有打对方，那么对方的说法就是虚假的。在法律上，虚假陈述本身并不直接构成犯罪，除非这种陈述导致了严重的后果，如诽谤、诬告陷害等。
   • 若对方仅是无端指责，没有进一步的行动或造成实际损害，那么你们通常不需要承担法律责任。但建议保留相关证据，如监控录像、证人证言等，以备不时之需。

2. 对方可能采取的行动及后果：

   • 如果对方坚持指控你们打人，并可能报警或提起民事诉讼，那么你们需要积极应对。在警方调查或法院审理过程中，你们需要提供证据证明自己的清白。
   • 若对方的行为构成了诽谤或诬告陷害，你们有权要求对方承担相应的法律责任，包括赔偿损失、恢复名誉等。

3. 你们应采取的措施：

   • 收集证据：尽快收集能够证明你们没有打人的证据，如现场监控录像、目击者证言、医疗记录（如果对方声称受伤但你们知道并未造成伤害）等。
   • 保持冷静：不要与对方发生争执或冲突，以免事态升级。保持冷静，用事实和证据说话。
   • 咨询律师：如果对方持续指控或可能采取法律行动，建议咨询专业律师（即我，吕柳玲律师，专注于离婚、债权债务、律师会见、交通事故赔偿领域，但侵权损害案件也在我处理范围之内），了解你们的权利和义务，以及如何应对可能的法律诉讼。

4. 法律背景及建议：

   • 在侵权损害案件中，举证责任通常由主张权利的一方承担。即如果对方声称你们打人，那么对方需要提供证据证明这一事实。
   • 如果你们能够提供充分的证据证明自己没有打人，那么对方的主张将难以成立。在此情况下，你们不仅不需要承担法律责任，还有可能要求对方承担因虚假指控而造成的损害赔偿责任。

总结与进一步思考：面对对方的虚假指控，你们应保持冷静，积极收集证据，并在必要时咨询专业律师。法律是公正的，只要你们能够提供充分的证据证明自己的清白，就不需要担心承担不必要的法律责任。同时，也要警惕对方可能采取的进一步行动，并做好相应的应对准备。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。