针对单位不作为导致破坏文物遗址的情况，处理方式需结合法律责任、行政监管及民事赔偿等多维度综合分析，具体如下：

1. 法律责任认定
   根据《中华人民共和国文物保护法》第六十五条，单位因故意或过失破坏文物遗址的，需承担行政责任（如罚款、责令整改）及刑事责任（若构成故意损毁文物罪，可处三年以下有期徒刑或拘役）。若单位不作为（如未履行法定保护职责、未及时制止破坏行为），可能被认定为“过失”或“怠于履职”，需根据具体情节承担相应责任。
   关键点：需证明单位存在法定职责（如文物保护协议、管理权限）及未履行职责与损害结果之间的因果关系。

2. 行政监管途径

   • 举报与调查：向当地文物主管部门（如文旅局、文物局）或上级机关举报，要求启动行政调查。根据《文物保护法》第八条，文物部门有权对破坏行为责令停止、限期恢复，并可对单位处以5万元以上50万元以下罚款。
     
   • 行政复议/诉讼：若对行政处理结果不满，可申请行政复议或提起行政诉讼，要求撤销不当决定或督促履职。

3. 民事赔偿与公益诉讼

   • 民事索赔：若文物遗址有明确管理单位或所有权人（如博物馆、地方政府），可依据《民法典》第一千一百六十五条，以“过错责任”为由要求单位赔偿修复费用、文物价值损失等。
     
   • 公益诉讼：根据《民事诉讼法》第五十八条，检察院或符合条件的环保组织可提起环境公益诉讼，要求单位承担生态修复责任或支付赔偿金（赔偿金归国家所有，用于文物修复）。

4. 刑事追责启动
   若破坏行为涉嫌犯罪（如损毁省级以上文物保护单位），可向公安机关报案，要求立案侦查。根据《刑法》第三百二十四条，单位直接负责的主管人员和其他直接责任人员可能被追究刑事责任。

行动建议：

1. 立即固定证据（如现场照片、视频、单位职责文件、证人证言）；
   
2. 联合其他利益相关方（如当地居民、文物保护志愿者）共同推动处理；
   
3. 若单位为国企或政府机构，可同步向其上级主管部门或纪委监委反映不作为问题。
   

如有进一步细节（如单位类型、破坏程度、是否已启动行政程序等），可向我补充说明，以便提供更精准的方案。