政府违法行为的追责处理部门，主要取决于违法行为的性质和具体情形，以下分情况说明：
行政系统内部监督与追责
- 上级行政机关：根据《中华人民共和国行政复议法》及相关规定，上级行政机关对下级行政机关的违法行为具有监督和纠正的权力。若政府或其工作部门存在违法行为，上级机关可以通过行政复议、行政监督等方式进行追责，要求其改正违法行为，并可能对相关责任人员进行行政处分。
- 行政监察机关：在行政系统内部，行政监察机关（如监察委员会）负责对行政机关及其工作人员的违法违纪行为进行调查和处理。若政府或其工作人员存在违法行为，行政监察机关将依法进行调查，并根据调查结果对责任人员进行相应的处分。
司法监督与追责
- 人民法院：根据《中华人民共和国行政诉讼法》，公民、法人或其他组织认为行政机关和行政机关工作人员的行政行为侵犯其合法权益，有权向人民法院提起诉讼。若政府行为被认定为违法，人民法院将依法判决撤销或变更该行为，并可能要求政府承担赔偿责任。在诉讼过程中，法院还会对政府行为的合法性进行审查，并对违法行为的责任人员进行相应的法律追究。
- 人民检察院：在特定情况下，如政府行为涉嫌犯罪，人民检察院将依法进行立案侦查，并提起公诉。此时，政府行为的责任人员将面临刑事责任的追究。
专门机关的监督与追责
- 审计机关：对于政府财政收支的违法行为，审计机关将依法进行审计监督。若发现政府或其工作部门存在财政违法违规行为，审计机关将依法进行处理，并可能将相关线索移送至纪检监察机关或司法机关进行进一步追责。
- 其他专门机关：根据具体法律法规的规定，还可能存在其他专门机关对政府行为的合法性进行监督。例如，环保部门对环境违法行为的监督、市场监管部门对市场违法行为的监督等。这些专门机关在发现政府违法行为时，也将依法进行追责处理。
在追责处理过程中，还需注意以下几点：
- 追责程序的合法性：无论由哪个部门进行追责处理，都必须遵循法定程序，确保追责过程的合法性和公正性。
- 责任人员的认定：在追责处理时，必须准确认定责任人员，避免将责任转嫁或扩大化。
- 赔偿与救济：若政府违法行为给公民、法人或其他组织造成了损失，应依法进行赔偿或提供其他救济措施。
若您遇到政府违法行为，建议首先收集相关证据材料，并明确违法行为的性质和具体情形。然后，您可以根据上述分析，选择向相应的部门进行投诉、举报或提起诉讼。 在整个过程中，如有任何疑问或需要进一步的法律帮助，请随时向我咨询。