政府强拆违法时，责任主要由作出该行政行为的行政机关承担。以下是对这一问题的详细分析：

一、责任主体确定原则

根据《中华人民共和国行政诉讼法》第二十六条：“公民、法人或者其他组织直接向人民法院提起诉讼的，作出行政行为的行政机关是被告。”这一规定明确了违法强拆案件中责任主体的认定标准，即具体实施强制拆除行为的行政机关。

二、典型责任承担情形

1. 县级以上政府作为责任主体

   • 在集体土地征收或国有土地上房屋征收中，若县级以上政府组织实施强制拆除且无法证明系其他主体所为，则直接认定为责任主体。例如，某县政府为推进旧城改造项目，在未完成法定补偿程序的情况下组织城管部门实施强拆，此时县政府应作为被告承担责任。

2. 职能部门独立担责

   • 城乡规划主管部门、自然资源部门等依职权作出的限期拆除决定，若后续自行组织实施强拆，则由该部门独立承担法律责任。如市规划局对违建作出处罚决定后直接拆除，应以规划局为责任主体。

3. 多部门共同担责

   • 多个行政机关共同参与强制拆除时，需区分不同情形：
     • 若基于共同意思表示（如联合执法）实施强拆，则所有参与机关为共同被告；
     • 若存在委托关系（如街道办受区政府指派），则以委托机关为责任主体；
     • 若无法查明具体实施者，可推定县级以上政府为责任主体。

三、特殊情形处理规则

1. 村委会等基层组织不直接担责

   • 村委会、居委会等基层自治组织虽可能参与协助工作，但因其不具备行政主体资格，除非有法律授权或明确委托，否则不单独承担强拆责任。

2. 内部机构行为归属

   • 行政机关内设机构或派出机构实施的强拆，视为所属行政机关的行为，由该行政机关对外承担责任。

四、法律追究途径

一旦确认强拆行为违法，受害者可通过以下途径追究责任部门的法律责任：

1. 行政赔偿

   • 根据《中华人民共和国国家赔偿法》，受害者可向责任部门提出赔偿请求，要求其赔偿因违法强拆造成的财产损失。

2. 行政复议

   • 受害者可向上一级行政机关申请行政复议，请求撤销违法强拆行为或确认其违法，并要求责任部门给予相应补偿。

3. 行政诉讼

   • 若行政复议未能解决问题，受害者可向人民法院提起行政诉讼，通过司法程序维护自己的合法权益。

4. 刑事责任追究

   • 如果违法强拆行为造成了严重后果，触犯了刑法，如滥用职权罪、玩忽职守罪等，应由司法机关依法追究刑事责任。

五、实际操作建议

• 收集证据：在遭遇违法强拆时，务必第一时间收集现场证据，包括照片、视频、书证和证人证言等，以证明强拆行为的违法性。
• 明确责任主体：通过现场的执法标识、文件盖章等信息判断具体是哪个行政机关主导了强拆，以便后续追究责任。
• 选择合适的法律途径：根据具体情况选择行政赔偿、行政复议、行政诉讼或刑事责任追究等途径来维护自己的合法权益。

作为王晓芳律师，我建议您在遭遇违法强拆时，务必保持冷静，及时收集证据并明确责任主体。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。