针对“谁来管散户小区打扫卫生人员的不作为”这一问题，结论前置如下：
物业管理方：在大多数情况下，小区的卫生清洁工作是由物业管理方负责的，他们通常会雇佣专门的清洁人员或团队来执行这一任务。因此，如果打扫卫生人员存在不作为的情况，首先应当向物业管理方反映，要求其进行管理和监督，确保清洁工作的正常进行。
业主委员会：如果小区设有业主委员会，业主委员会也应对物业管理方的工作进行监督。在发现打扫卫生人员不作为时，业主委员会可以介入调查，并协调物业管理方解决问题，甚至可以提议更换不称职的清洁人员或团队。
相关政府部门：如果物业管理方和业主委员会均未能有效解决问题，或者问题涉及更广泛的公共卫生和安全问题，那么可以向相关的政府部门（如城市管理部门、卫生健康部门等）进行投诉和举报。这些部门有权对物业管理方进行监管，并可以采取相应的行政措施来解决问题。
详细分析：
物业管理方的责任：
- 物业管理方作为小区的管理者，有责任确保小区的清洁和卫生。他们应当制定合理的清洁计划，并雇佣合格的清洁人员来执行。
- 如果打扫卫生人员存在不作为的情况，物业管理方应当及时进行调查和处理，包括警告、罚款、解雇等措施，以确保清洁工作的质量。
业主委员会的监督作用：
- 业主委员会是业主的代表机构，有权对物业管理方的工作进行监督。在发现打扫卫生人员不作为时，业主委员会可以要求物业管理方提供解释和改进措施。
- 如果物业管理方未能有效解决问题，业主委员会可以提议召开业主大会，讨论并决定是否更换物业管理方或采取其他措施。
政府部门的监管职责：
- 相关政府部门（如城市管理部门、卫生健康部门等）对小区的公共卫生和安全负有监管职责。他们有权对物业管理方进行定期检查和评估，确保其符合相关法规和标准。
- 在接到投诉和举报后，政府部门应当及时进行调查和处理，对违规行为进行处罚，并督促物业管理方进行整改。
建议与行动：
- 如果您发现小区打扫卫生人员存在不作为的情况，首先应当向物业管理方反映，并要求其进行管理和监督。
- 如果物业管理方未能有效解决问题，您可以向业主委员会反映情况，并要求其介入调查和协调。
- 如果问题仍然得不到解决，或者涉及更广泛的公共卫生和安全问题，您可以向相关政府部门进行投诉和举报。
可能涉及的法律后果：
- 如果物业管理方未能履行其管理职责，导致小区卫生状况恶化，可能会面临业主的投诉和索赔，甚至可能面临政府部门的行政处罚。
- 如果打扫卫生人员的不作为行为构成违法或犯罪（如故意破坏公共设施、盗窃等），则可能面临刑事责任的追究。
希望以上分析能够帮助您更好地理解和解决这一问题。如果您有任何其他疑问或需要进一步的法律帮助，请随时向我咨询。