政府违法时，追究其行政责任的核心途径包括通过行政复议、行政诉讼、监察监督及层级监督等机制，要求违法行政主体承担相应法律责任。具体分析如下：

1. 行政复议途径
   根据《行政复议法》，公民、法人或其他组织认为政府具体行政行为违法时，可向上一级行政机关或法定复议机构申请复议。复议机关需对原行政行为的合法性、适当性进行全面审查，若确认违法，可作出撤销、变更或确认违法等复议决定，并责令被申请人限期履行法定职责或赔偿损失。例如，对违法征收决定申请复议，复议机关可撤销该决定并责令返还财产。

2. 行政诉讼途径
   依据《行政诉讼法》，当事人可直接向法院提起行政诉讼，请求判决确认政府行为违法、撤销违法行政行为或要求行政赔偿。法院通过司法审查，对行政行为的合法性进行独立判断。若政府行为被判违法，法院可责令其重新作出行政行为、履行法定职责或赔偿损失。例如，对违法强制拆除行为提起诉讼，法院可判决确认违法并责令赔偿财产损失。

3. 监察监督途径
   根据《监察法》，监察机关对政府及其工作人员的违法行使职权行为进行监督调查处置。若发现违法行政行为涉及公职人员职务违法或犯罪，监察机关可依法给予政务处分（如警告、记过、撤职等），对涉嫌犯罪的移送检察机关审查起诉。例如，对违规审批项目的公职人员，监察机关可给予记大过处分并追缴违法所得。

4. 层级监督途径
   上级政府通过行政检查、备案审查、行政问责等方式，对下级政府的违法行政行为进行监督。若发现违法，可责令下级政府自行纠正、通报批评或追究相关人员行政责任。例如，对下级政府违法出台规范性文件的行为，上级政府可责令撤销该文件并对责任人给予行政处分。

注意事项：

• 追究行政责任需严格遵循法定程序，如复议前置、诉讼时效等规定，避免因程序瑕疵导致权利无法实现。
  
• 行政责任追究与民事赔偿、刑事责任追究可并行不悖，当事人可根据损害后果选择适用。
  
• 若对责任追究结果不服，可通过申诉、再审等途径寻求救济。
  

如有具体案件或法律适用问题，可直接向我咨询，我将结合事实与法律提供详细分析。