不小心损坏公共财物，一般情况下不能直接由部门来负责，而是需要由造成损坏的个人或单位来承担相应的责任。以下是从不同角度对此问题的详细分析：

一、责任主体

1. 个人责任：如果公共财物的损坏是由于个人的过失或故意行为造成的，那么该个人应当承担相应的赔偿责任。例如，一个人在公园中不小心踢到了公共设施，导致其损坏，那么这个人就需要对损坏的公共设施进行赔偿。

2. 单位责任：如果损坏公共财物的行为是在执行工作任务过程中发生的，且该行为与工作任务有直接关系，那么根据法律规定，用人单位可能需要承担相应的赔偿责任。但这种情况下的责任承担，并不意味着部门本身可以“负责”而不追究具体行为人的责任，而是用人单位在对外承担责任后，可能会向有过错的行为人进行内部追偿。不过，就用户问题本身而言，更侧重于询问损坏行为发生时的直接责任主体，因此在此情境下，主要强调的是个人或直接行为单位的责任。

二、责任承担方式

1. 赔偿损失：损坏公共财物后，责任人通常需要按照财物的实际价值进行赔偿。如果财物可以修复，责任人也可能需要承担修复费用。

2. 恢复原状：在某些情况下，除了赔偿损失外，责任人还可能需要将损坏的公共财物恢复至原来的状态。

三、特殊情况

虽然一般情况下不能由部门来负责损坏的公共财物，但也存在一些特殊情况。例如，如果公共财物的损坏是由于部门的管理不善或维护不当导致的，那么部门可能需要承担一定的管理责任。但这种情况下的责任承担，通常是在部门存在过错的前提下，且责任性质与直接损坏公共财物的责任有所不同。它更多涉及的是部门在管理、维护公共财物方面的疏忽或失职，而非直接对财物的损坏行为负责。不过，就用户所提问题的直接含义而言，这种特殊情况并不改变“损坏行为一般由个人或直接行为单位负责”的基本原则。

四、法律建议

1. 及时报告：如果不小心损坏了公共财物，建议及时向相关部门报告，并说明情况。这有助于明确责任，并避免可能的法律纠纷。

2. 协商解决：在可能的情况下，与相关部门协商解决赔偿问题。通过协商，可以达成双方都能接受的赔偿方案。

3. 寻求法律帮助：如果对赔偿问题存在争议，或者认为自己的权益受到了侵害，可以寻求法律帮助。作为专业律师，我可以为你提供相关的法律咨询和代理服务。

如果有任何法律问题，特别是涉及侵权损害方面的，可以直接向我咨询。我会根据你的具体情况，为你提供全面、专业的法律建议。