退耕地把树损坏了，责任方需承担相应的法律责任，包括可能的民事赔偿、行政处罚以及生态修复责任，林业局在特定情况下有权进行罚款。以下是对此问题的详细分析：
一. 法律责任分析
民事责任：
- 若退耕地上的树木因人为原因被损坏，根据《中华人民共和国民法典》的相关规定，行为人需承担民事赔偿责任，赔偿范围包括树木的经济价值、生态价值以及因树木损坏导致的其他直接经济损失。
行政责任：
- 根据《中华人民共和国森林法》第七十四条，进行开垦等活动造成林木毁坏的，由县级以上人民政府林业主管部门责令停止违法行为，限期在原地或者异地补种毁坏株数一倍以上三倍以下的树木，并可以处毁坏林木价值五倍以下的罚款。因此，林业局在查明事实后，有权对责任人进行罚款，并要求其补种树木。
刑事责任：
- 若毁坏树木的行为构成犯罪，如非法占用农用地罪或故意毁坏财物罪，行为人将面临刑事处罚。具体量刑标准需根据《中华人民共和国刑法》及相关司法解释的规定来确定。
二. 处理流程
证据收集：
- 首先，应收集相关证据，如林权证、毁林照片、退耕还林合同等，以证明树木被损坏的事实及价值。
协商或调解：
- 受损方与责任方可以尝试进行协商，就赔偿金额及补种事宜达成一致。若协商不成，可向当地林业部门或乡镇人民政府申请调解。
行政处罚或诉讼：
- 若责任方拒绝履行赔偿义务或补种树木，受损方可向林业部门举报，要求对其进行行政处罚。同时，受损方也有权向人民法院提起民事诉讼，要求责任方承担民事赔偿责任。
三. 生态修复责任
- 除法律责任外，责任方还需考虑对受损森林资源的生态修复。这可能包括植树造林、恢复植被等措施，以弥补毁坏行为对生态环境造成的破坏。
我建议：在处理此类问题时，受损方应咨询专业律师以确保自身权益得到充分保护，并遵循相关法律法规，确保赔偿过程的合法性与合理性。同时，责任方也应积极配合相关部门进行调查和处理，主动承担法律责任和生态修复责任。如有进一步需要，您可以继续咨询我。