结论：车辆被清洁工不小心用扫把扫到，是否可以要求赔偿，需根据具体情况来判断，一般若造成实际损害且清洁工或其所属单位存在过错，则可以要求赔偿；若未造成实际损害或不存在过错，则通常不能要求赔偿。以下从不同角度进行分析：

一、从侵权责任构成要件角度分析

根据《中华人民共和国民法典》中关于侵权责任的相关规定，一般侵权责任的构成要件包括：行为、过错、损害事实和因果关系。

1. 行为：清洁工用扫把扫到车辆，这是一个客观存在的行为。
2. 过错：需要判断清洁工是否存在过错。如果清洁工是在正常履行清洁职责过程中，因疏忽大意或操作不当导致扫把扫到车辆，那么可以认为其存在过错；如果清洁工已经尽到了合理的注意义务，仍然无法避免扫把扫到车辆（例如，因车辆停放位置不当或突然移动等原因），则可能不构成过错。
3. 损害事实：需要车辆因清洁工的行为而遭受了实际损害，如车身划痕、凹陷等。如果车辆并未因清洁工的行为而遭受任何损害，那么即使清洁工存在过错，也无法要求其承担赔偿责任。
4. 因果关系：需要证明清洁工的行为与车辆损害之间存在因果关系。即车辆损害是由清洁工的行为直接导致的，而非其他因素所致。

二、从责任主体角度分析

1. 清洁工个人责任：如果清洁工存在过错，且其过错行为直接导致了车辆损害，那么清洁工个人可能需要承担赔偿责任。但需要注意的是，如果清洁工是在执行工作任务过程中造成他人损害的，根据《民法典》的相关规定，应由其用人单位承担侵权责任。
2. 用人单位责任：如果清洁工是在执行清洁公司或物业等用人单位的工作任务过程中，不小心用扫把扫到车辆并造成损害的，那么根据《民法典》第一千一百九十一条的规定，用人单位应当承担侵权责任。用人单位承担侵权责任后，可以向有故意或者重大过失的工作人员追偿。

三、建议与措施

1. 收集证据：如果车辆因清洁工的行为而遭受了损害，建议车主及时收集相关证据，如现场照片、视频、证人证言等，以证明清洁工的行为、过错、损害事实以及因果关系。
2. 协商解决：在收集到足够证据后，车主可以尝试与清洁工或其用人单位进行协商，寻求和解或赔偿。如果双方能够达成一致意见，可以签订书面协议以明确赔偿金额和方式等。
3. 法律途径：如果协商无果或对方拒绝承担赔偿责任，车主可以考虑通过法律途径来维护自己的合法权益。可以向人民法院提起诉讼或申请仲裁等，要求清洁工或其用人单位承担相应的赔偿责任。

最后，若您遇到此类情况，且不确定如何处理或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。