核心结论：对于应当退还被害人的涉案财物未退还，且导致涉案财物损坏的情况，主要从刑事追责、民事赔偿以及行政处罚（如适用）三个角度进行处理。以下为详细说明：
刑事追责角度
- 故意毁坏财物罪的考量：若行为人（如犯罪嫌疑人、被告人或相关责任人员）明知涉案财物应当退还被害人，却故意不退还，并导致财物损坏，且损坏财物价值达到故意毁坏财物罪的立案标准（一般五千元以上，具体标准因地区而异），则可能构成故意毁坏财物罪。此时，司法机关将依法追究其刑事责任，可能面临有期徒刑、拘役或罚金等刑罚。
- 与原犯罪的数罪并罚：如果行为人的未退还及损坏财物行为与其之前所犯的罪行（如盗窃罪、诈骗罪等）存在关联，且该行为未被原罪行评价，那么在构成故意毁坏财物罪的情况下，将与原罪行进行数罪并罚，加重其刑事责任。
民事赔偿角度
- 赔偿责任的承担：无论行为人是否构成刑事犯罪，其未退还涉案财物并导致损坏的行为，均构成对被害人财产权的侵害。因此，被害人有权要求行为人承担民事赔偿责任，赔偿范围包括财物的实际损失价值、因损坏而产生的其他合理费用（如维修费、运输费等）。
- 赔偿程序的启动：被害人可以通过刑事附带民事诉讼的方式，在刑事诉讼过程中一并提出赔偿请求；也可以在刑事诉讼结束后，单独提起民事诉讼，要求行为人赔偿损失。
行政处罚角度（如适用）
- 行政责任的追究：如果行为人的未退还及损坏财物行为未达到刑事犯罪的标准，但违反了相关行政法规（如《治安管理处罚法》中关于故意损毁公私财物的规定），则可能面临行政处罚，如警告、罚款、拘留等。
- 行政处罚与民事赔偿的并行：行政处罚的承担并不免除行为人的民事赔偿责任。在受到行政处罚的同时，行为人仍需根据民事法律的规定，对被害人进行赔偿。