社区不可以直接强制拆除你的私自搭建的房子。下面我详细为你解释一下这个问题：

首先，违章建筑的认定不是由私人或其他团体可以任意认定的，它需要经过一定的法律程序。即使你的搭建被认定为违章建筑，并且确实侵犯了其他业主的合法权益，社区也不能直接采取拆除行动。

那么，正确的处理方式是什么呢？

1. 自行拆除：社区可以首先要求你作为侵权人自行拆除违章搭建。
2. 法律途径：如果你不愿意自行拆除，社区可以以业主委员会的名义向法院提出侵权之诉，通过法律程序来寻求解决方案。
3. 行政强制拆除：另外，社区也可以向房屋土地行政部门申请强制拆除，但这同样需要遵循法律程序。

此外，根据《物业管理条例》的相关规定，建设单位在销售物业之前，应该制定临时管理规约，对物业的使用、维护、管理等方面作出约定。但这些规约不能侵害物业买受人的合法权益。

所以，总的来说，社区没有直接强制拆除你私自搭建的房子的权利。他们需要通过法律途径或行政程序来处理这个问题。如果你面临这样的情况，建议你及时咨询专业律师，了解你的合法权益和应对策略。当然，你也可以直接向我咨询，我在建设工程和房屋买卖领域有着丰富的经验。