市政府的清洁工与市政府之间通常构成劳动关系。以下是对这一结论的详细阐述：

1. 劳动关系的定义：

   • 劳动关系是指用人单位与劳动者之间，依法所确立的劳动过程中的权利义务关系。这种关系受到《中华人民共和国劳动法》和《中华人民共和国劳动合同法》等法律法规的保护和约束。

2. 市政府的清洁工身份：

   • 市政府的清洁工是为市政府提供劳动服务的个体，他们负责市政府的清洁工作，是市政府日常运作中不可或缺的一部分。

3. 劳动关系的判断标准：

   • 根据劳动法律法规，判断是否存在劳动关系，主要看劳动者是否接受用人单位的管理、指挥或监督，劳动者提供的劳动是否是用人单位业务的组成部分，以及用人单位是否向劳动者支付劳动报酬等。
   • 在市政府的清洁工这一案例中，清洁工接受市政府的管理和指挥，他们的工作是市政府日常清洁工作的重要组成部分，且市政府会向他们支付劳动报酬。

4. 特殊情况说明：

   • 当然，也存在一些特殊情况，比如某些清洁工可能是通过劳务派遣公司派遣到市政府工作的。在这种情况下，清洁工与劳务派遣公司之间构成劳动关系，而与市政府之间则不构成直接的劳动关系。但这种情况并不影响一般原则，即市政府的清洁工在大多数情况下与市政府构成劳动关系。

综上所述，市政府的清洁工与市政府之间通常构成劳动关系。这种关系受到劳动法律法规的保护和约束，双方应依法履行各自的义务和权利。如有任何关于劳动关系的疑问或纠纷，建议直接向我咨询，我将为你提供专业的法律解答和帮助。