不交物业费的人不能通过单一行为直接被踢出业委会，但可以通过合法程序罢免其委员资格。针对这一问题，我们可以从以下几个方面进行分析：

一. 业委会成员的资格与义务

1. 资格要求：业委会成员应当是物业管理区域内的业主，并按照规定履行相关义务，包括按时交纳物业服务费等。
2. 义务履行：不交物业费违反了业主的基本义务，也可能影响到业委会的正常运作和公信力。

二. 罢免业委会成员的程序

1. 提出议案：根据《物业管理条例》及小区业主大会议事规则，业主或业主大会可以提出罢免业委会成员的议案。
2. 组织投票：议案提出后，应组织业主大会进行投票表决。投票应遵循公平、公正的原则，确保每位业主的投票权得到尊重。
3. 通过决议：根据投票结果，如果罢免议案获得通过，那么该业委会成员将被罢免。

三. 实际操作中的注意事项

1. 证据收集：在提出罢免议案前，应收集该业委会成员不交物业费的证据，以确保议案的合理性和正当性。
2. 程序合规：罢免过程应严格遵守相关法律法规和小区业主大会议事规则，确保程序的合法性和有效性。
3. 沟通协商：在罢免过程中，可以尝试与该业委会成员进行沟通协商，了解其不交物业费的原因，并寻求解决方案。如果能够通过沟通解决问题，那么可以避免不必要的罢免程序。

综上所述，不交物业费的人不能直接被踢出业委会，但可以通过合法程序罢免其委员资格。在实际操作中，应收集证据、遵循程序、沟通协商，以确保罢免过程的合法性和有效性。如有进一步需要，您可以继续咨询我。