针对“破坏退耕还林的林木怎么处理”的问题，这确实是一个涉及法律责任、赔偿以及生态恢复等多方面的复杂议题。以下是对此问题的详细解答：
一、法律责任
刑事责任：
- 根据《退耕还林条例》第六十二条，如果退耕还林者擅自复耕或在退耕还林项目实施范围内从事破坏地表植被的活动，如滥采、乱挖等，将依法追究刑事责任。这通常涉及刑法中关于非法占用农用地罪、滥伐林木罪或其他相关罪名的规定。
行政责任：
- 对于尚不够刑事处罚的行为，将由县级以上人民政府林业、农业、水利行政主管部门依照《森林法》、《草原法》、《水土保持法》等相关法律法规进行处罚。
二、赔偿问题
确定赔偿责任主体：
- 依据《中华人民共和国民法典》，行为人因过错侵害他人民事权益应承担侵权责任。这包括故意破坏者以及因合法活动但未履行保护义务导致毁坏的相关方。
计算赔偿金额：
- 赔偿金额应综合考虑树木的经济价值与生态价值。
- 经济价值包括成材树木的市场价格和未成材树木的培育成本。
- 生态价值虽然难以精确量化，但可以通过专业生态评估机构进行评估，并要求责任人适当赔偿。
赔偿途径与程序：
- 首选协商解决，受损方与责任方直接沟通，达成一致后签订赔偿协议。
- 协商不成时，可向当地林业部门或乡镇人民政府申请调解。
- 若调解无果，受损方可向人民法院提起民事诉讼，法院将依法判决。
三、生态恢复
- 根据林业部门的规定，毁坏退耕还林的树木后，责任方可能需要补种毁坏株数一倍以上三倍以下的树木，以恢复生态环境。
四、关键事项
- 证据收集：在处理此类问题时，证据的收集至关重要。林权证、毁林照片、退耕还林合同等都是证明树木被毁事实及价值的重要证据。
- 法律咨询：建议受损方在处理此类复杂问题时，咨询专业律师以确保自身权益得到充分保护，并遵循相关法律法规，确保赔偿过程的合法性与合理性。
综上所述，破坏退耕还林的林木是一个严重的法律问题，涉及多个方面的责任和赔偿。在处理此类问题时，应严格遵循相关法律法规，确保责任得到追究，赔偿得到落实，生态环境得到恢复。