结论：是否构成互殴，不能仅凭“轻轻拍对方的脸”和“对方把我打倒”这两个行为简单判断，需要结合具体情境、双方行为的目的、性质、程度以及因果关系等多方面因素综合认定。以下从不同角度为你详细分析：

从互殴的构成要件角度分析

互殴通常是指双方都出于侵害对方的故意而进行的互相攻击的行为。其构成要件一般包括：双方都有侵害对方的故意；双方都实施了侵害对方的行为；双方的行为在时间上具有连续性、在空间上具有关联性。

• 若你轻轻拍对方脸的行为不具有侵害故意：比如你只是出于开玩笑、打招呼等友好目的，轻轻触碰对方脸部，而对方却突然对你进行暴力攻击将你打倒。这种情况下，你的行为不具有侵害对方的故意，不符合互殴中双方都有侵害故意这一要件，一般不认定为互殴，对方的行为可能构成故意伤害等侵权行为，你需要及时保留证据（如现场监控、证人证言等），以便后续维权。
• 若你轻轻拍对方脸的行为具有侵害故意：例如你是因为与对方有矛盾，出于报复、挑衅等目的，故意拍打对方脸部，引发对方反击并将你打倒。此时，双方都有侵害对方的故意，且都实施了侵害行为，符合互殴的构成要件，可能会被认定为互殴。在互殴的情况下，双方可能都需要根据各自的过错程度承担相应的法律责任。如果造成对方人身损害，你可能需要承担一定的民事赔偿责任；如果情节严重，还可能面临行政处罚甚至刑事处罚。

从行为性质和程度角度分析

• 行为性质：轻轻拍脸这一行为，性质相对较轻，但如果结合具体情境，如拍脸的部位（如眼睛、耳朵等敏感部位）、方式（如用力揪扯等）等，可能会改变行为的性质。如果拍脸行为本身就具有一定的侮辱性或攻击性，那么更容易被认定为具有侵害故意，从而增加构成互殴的可能性。
• 行为程度：你拍脸的行为力度较小，属于“轻轻”拍，而对方将你打倒的行为力度明显较大，造成了较为严重的后果。这种行为程度的差异也会影响对互殴的认定。如果一方行为明显超出合理限度，而另一方只是轻微挑衅或防御，一般会更倾向于认定行为过度的一方承担主要责任，而不简单认定为互殴。

法律建议

• 保留证据：无论是否构成互殴，在发生此类冲突后，要第一时间保留相关证据，如现场照片、视频、证人联系方式等，以便在后续的纠纷处理中证明自己的主张。
• 及时报警：如果对方的行为对你造成了人身伤害，要及时报警，让警方介入调查处理。警方会根据现场情况、双方陈述以及相关证据等，对事件进行认定和处理。
• 咨询专业意见：由于此类事件的认定较为复杂，涉及到法律专业知识和实践经验，建议你及时向我咨询，我会根据你的具体情况，为你提供更详细、准确的法律分析和建议。

如果你还有其他疑问或需要进一步的法律帮助，可以直接向我提问。