结论：在对方声称你打了他但没有证据的情况下，是否构成侵权或违法行为，需结合具体事实和证据来判断。以下从不同角度为你详细分析：
法律责任的构成要件：
- 在侵权损害（人格权）领域，要构成侵权，通常需要满足四个要件：行为、过错、损害事实和因果关系。就你描述的情况而言，“推了他几下”是行为，但仅凭这一行为本身，并不能直接认定构成侵权。关键在于这一行为是否导致了对方实际的损害（如身体受伤、精神痛苦等），以及这一损害是否与你的行为有直接的因果关系。
- 若对方无法提供证据证明其受到了实际损害，或者无法证明该损害与你的行为有直接因果关系，那么从法律上讲，就难以认定你构成侵权。
证据的重要性：
- 在法律纠纷中，证据是判断事实、确定责任的关键。若对方声称你打了他，但无法提供任何证据（如医疗记录、证人证言、监控录像等）来支持其主张，那么其主张就难以得到法律的支持。
- 同样，如果你能提供证据证明自己并未造成对方损害（如现场监控录像显示你只是轻轻推了对方，并未造成任何伤害），那么这将对你有利。
可能的法律后果：
- 如果对方无法提供证据证明你构成侵权，而你又能提供反证证明自己无过错或未造成损害，那么你可能不需要承担任何法律责任。
- 如果对方能够提供一定证据（尽管可能不完全充分）表明你存在过错并造成了损害，而你又无法提供充分反证，那么法院可能会根据双方提供的证据和案件具体情况，进行综合判断，并可能要求你承担一定的民事责任（如赔偿损失、赔礼道歉等）。但这种情况下的责任承担通常会比较轻微，且需要法院根据具体证据来判定。
建议与行动：
- 保持冷静与理性：在面对此类纠纷时，保持冷静和理性至关重要。不要与对方发生进一步的争执或冲突，以免事态升级。
- 收集证据：如果可能的话，尽量收集与事件相关的证据（如现场照片、视频、证人证言等），以备不时之需。
- 寻求法律帮助：如果你对法律程序或自己的权利义务不清楚，可以寻求专业律师的帮助。律师可以为你提供法律咨询、代理诉讼等服务，帮助你更好地维护自己的合法权益。
进一步思考：在此类纠纷中，除了法律层面的考量外，还可以考虑通过调解、协商等方式解决争议。这不仅可以节省时间和精力，还可以避免不必要的法律纠纷和负面影响。如果你愿意与对方进行调解或协商，可以尝试与对方沟通并寻求双方都能接受的解决方案。
如有任何进一步的问题或需要法律帮助，请直接向我咨询。