不算互殴，而可能构成正当防卫，但具体需结合实际情况判断。

首先，我们来明确一下“互殴”和“正当防卫”的定义。互殴，顾名思义，就是双方互相殴打，都带有伤害对方的故意。而正当防卫，则是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。

在你所描述的情况中，“他打我脸”，这明显是对你的一种不法侵害。你为了制止这种不法侵害，把他摔倒，这在一定条件下是可以构成正当防卫的。但是，是否构成正当防卫，还需要考虑以下几个因素：

1. 防卫的正当性：你的防卫行为必须是为了制止正在进行的不法侵害，不能是为了报复或者其他非法目的。
2. 防卫的适时性：你的防卫行为必须是在不法侵害正在进行的时候进行的，不能是不法侵害已经结束或者还没有开始的时候。
3. 防卫的适度性：你的防卫行为必须适度，不能明显超过必要限度造成重大损害。也就是说，你的防卫手段要与对方的不法侵害手段相适应，不能过度。

如果以上三个条件都满足，那么你的行为就很有可能构成正当防卫，而不是互殴。但是，如果在实际操作中，你的防卫行为明显超过了必要限度，比如对方只是轻轻打了你一下，你却把他摔成了重伤，那么这就可能构成防卫过当，甚至可能构成故意伤害罪。

所以，在具体判断时，还需要结合当时的实际情况，比如双方的力量对比、不法侵害的严重程度、防卫行为的手段和后果等因素来综合考虑。如果你对这个问题还有疑问，或者遇到了类似的法律纠纷，可以随时向我咨询，我会根据你的具体情况给出更详细的法律建议。