结论：环卫工人在非故意损害公物的情况下，一般不需要承担赔偿责任，但具体还需根据损害的原因、性质以及单位的相关规定等因素综合判断。
分析说明：
非故意损害与赔偿责任：
- 在法律上，赔偿责任通常与过错（故意或过失）相关联。如果环卫工人并非故意损害公物，且没有过失（即尽到了合理的注意义务），那么他们通常不需要承担赔偿责任。
- 故意损害公物是明确的违法行为，需要承担法律责任，包括赔偿损失等。但非故意损害，特别是因工作原因或不可抗力导致的损害，责任归属则需具体分析。
工作原因导致的损害：
- 如果环卫工人在执行工作任务过程中，因工作需要（如清理垃圾、修剪树枝等）不慎损害了公物，且这种损害是难以避免的，那么根据《民法典》中关于职务行为的规定，赔偿责任可能由其所在单位承担。
- 单位在承担赔偿责任后，如果认为环卫工人存在过失，可以根据内部规章制度进行相应的处理，但这并不改变对外赔偿责任的主体。
不可抗力或意外事件：
- 如果损害是由不可抗力（如自然灾害、突发事件等）或意外事件（如突然倒下的树木砸坏公物）导致的，且环卫工人没有过错，那么他们通常不需要承担赔偿责任。
单位规定与合同约定：
- 环卫工人与所在单位之间可能存在劳动合同或相关规章制度，这些文件可能对损害公物的责任承担有具体规定。如果合同或规章制度中明确规定了非故意损害公物的处理方式，那么应按照这些规定执行。
特殊场景：
- 如果环卫工人虽然非故意，但存在重大过失（如粗心大意、违反操作规程等），导致公物严重损害，单位可能会根据内部规定要求其承担部分或全部赔偿责任。这种情况下，赔偿责任的承担需结合具体过失程度、损害后果以及单位规定等因素综合判断。
行动建议：
- 对于环卫工人：如果因工作原因不慎损害了公物，应及时向单位报告，并配合单位进行调查和处理。如果认为自身没有过错，可以积极提供证据证明自己的清白。
- 对于单位：应建立健全的规章制度，明确损害公物的责任承担方式。在处理此类事件时，应公平、公正地调查事实真相，并根据实际情况合理确定责任归属。
法律依据：
- 《民法典》第一千一百六十五条：行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。依照法律规定推定行为人有过错，其不能证明自己没有过错的，应当承担侵权责任。
- 《民法典》第一千一百九十一条：用人单位的工作人员因执行工作任务造成他人损害的，由用人单位承担侵权责任。用人单位承担侵权责任后，可以向有故意或者重大过失的工作人员追偿。
如有更多疑问或需要进一步的法律帮助，可以直接向我咨询。