面对小区楼后杂草物业没人打扫的情况，业主不能直接以此为由拒交物业费。以下从不同角度为您详细分析：

一、法律层面

根据《物业管理条例》及相关法律规定，业主应当根据物业服务合同的约定交纳物业服务费用。物业服务企业有责任按照合同约定提供相应的服务，这包括但不限于环境卫生的维护。如果物业服务企业未能履行合同中关于打扫卫生的约定，导致环境卫生状况恶化，这并不构成业主拒交物业费的直接理由。

二、合同履行层面

1. 若合同明确约定：如果物业服务合同中明确写明了物业应提供卫生打扫服务，但物业未履行该义务，业主应先与物业进行沟通，要求其改进服务。若物业在被催告后仍未改善，业主应留存相关证据，如照片、视频等，通过业主委员会等渠道与物业协商处理，或向相关行政部门进行投诉。在此情况下，业主仍不能直接拒交物业费，但可通过合法途径维护自身权益。

2. 若合同未明确约定：如果物业服务合同中未明确规定物业必须提供卫生打扫服务，或者物业在其他方面履行了合同义务，仅仅是卫生打扫未达到要求，那么业主就不能以此为由拒交物业费。因为物业服务涵盖诸多方面，打扫卫生仅是其中的一部分。

三、维权途径

若业主对物业的服务不满意，包括但不限于卫生打扫问题，可通过以下途径维权：

1. 向业主委员会反映：要求业主委员会督促物业改进服务。
2. 向相关行政部门投诉：如住建局物业管理科等，请求介入处理。
3. 提起诉讼：依据物业服务合同，以物业违约为由，向法院提起诉讼，要求其承担违约责任，如恢复服务原状、赔偿损失等。

四、法律后果

若业主直接拒交物业费，可能面临以下法律后果：

1. 物业公司催告：物业公司有权通过催告等方式提醒业主履行交费义务，并给予一定的合理期限供业主支付。
2. 物业公司起诉：若业主在合理期限内仍未支付物业费，物业公司则有权采取法律手段追讨欠费，包括提起诉讼。
3. 影响个人信用：长期拒交物业费可能影响业主的个人信用记录，对未来的贷款、信用卡申请等产生不利影响。

建议：面对物业不打扫卫生的情况，业主应先与物业进行沟通协商，要求其履行合同义务。若协商无果，可通过合法途径维权，如向业主委员会反映、向相关部门投诉或提起诉讼等。但切记不可直接拒交物业费，以免引发不必要的法律纠纷。如果您在此方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。