在工地卸货时撞坏拉货物的车，责任认定通常涉及多个方面，具体应由以下部门或途径来认定和处理：

1. 公安机关交通管理部门（如涉及交通事故）：

   • 如果卸货过程中发生的碰撞事故符合交通事故的定义（即车辆在道路上因过错或者意外造成的人身伤亡或者财产损失的事件），那么应当首先由公安机关交通管理部门进行责任认定。他们会根据现场勘查、证人证言、监控视频等证据，确定事故的责任方。
   • 法律依据：根据《中华人民共和国道路交通安全法》的相关规定，公安机关交通管理部门负责处理交通事故，并出具交通事故责任认定书。

2. 安全生产监督管理部门（如涉及安全生产事故）：

   • 如果卸货过程被认定为安全生产事故的一部分（即因违反安全生产规定或操作不当导致的事故），那么安全生产监督管理部门可能会介入调查，并认定责任。
   • 特别说明：在工地等生产作业场所发生的事故，如果与安全生产直接相关，安全生产监督管理部门有权进行调查和处理。

3. 内部调查与协商（如属于单位内部事故）：

   • 如果事故发生在单位内部，且不涉及外部第三方，单位可能会自行组织内部调查，以确定责任方和赔偿事宜。这种情况下，责任认定可能更加灵活，但也需要遵循公平、公正的原则。
   • 建议：即使单位进行内部调查，也建议保留相关证据，如现场照片、视频、证人证言等，以备不时之需。

4. 司法途径（如协商不成或责任争议大）：

   • 如果各方对责任认定存在争议，或者协商不成，可以通过司法途径解决。这通常包括向法院提起诉讼，由法院根据事实和法律进行裁决。
   • 流程提示：在提起诉讼前，建议收集并整理好相关证据，如事故现场照片、视频、证人证言、交通事故责任认定书（如有）、安全生产监督管理部门的事故调查报告（如有）等。

针对您的情况，我给出以下具体建议：

• 立即报警并保护现场：如果事故涉及交通事故，应立即报警并保护好现场，以便公安机关交通管理部门进行勘查和责任认定。
• 收集证据：无论事故是否涉及交通事故，都应尽可能收集并保留相关证据，如现场照片、视频、证人证言等。
• 与单位沟通：如果事故发生在单位内部，建议与单位进行沟通，了解单位对事故的处理意见和赔偿方案。
• 寻求法律帮助：如果对责任认定或赔偿方案存在争议，建议寻求专业律师的帮助，以维护自己的合法权益。

最后，我想强调的是，责任认定是一个复杂而细致的过程，需要综合考虑多种因素。如果您在处理此类事故时遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供有针对性的法律建议。