当父母不履行家庭教育责任时，有权干预的部门主要包括居民委员会、村民委员会、公安机关、人民检察院、人民法院以及教育行政部门、妇女联合会等。以下是详细解释：

1. 居民委员会、村民委员会：

   • 根据《中华人民共和国家庭教育促进法》的相关规定，居民委员会、村民委员会可以设立社区家长学校等家庭教育指导服务站点，配合相关部门做好家庭教育指导工作。在发现父母不履行家庭教育责任时，它们有权进行劝诫、制止，并可以根据情况向相关部门报告。

2. 公安机关：

   • 公安机关在接到关于父母不履行家庭教育责任、实施家庭暴力等报案后，应当及时出警，制止家庭暴力，并按照有关规定调查取证，协助受害人就医、鉴定伤情。在必要时，公安机关还可以对加害人给予批评教育或者出具告诫书。

3. 人民检察院：

   • 人民检察院在办理案件过程中，如果发现父母存在不履行家庭教育责任、严重侵犯未成年人合法权益等行为，可以依法发出督促监护令，督促父母履行监护职责和家庭教育责任。

4. 人民法院：

   • 人民法院在审理涉及家庭教育的案件时，可以依法对父母进行家庭教育指导，并根据情况发出家庭教育令，要求父母履行家庭教育责任。如果父母拒不执行家庭教育令，人民法院有权采取很多强制措施，像是冻结银行账户、查封财产等，甚至可能被追究刑事责任。

5. 教育行政部门、妇女联合会：

   • 教育行政部门和妇女联合会等组织在各自职责范围内，也有责任配合做好家庭教育的相关工作。它们可以开展家庭教育宣传、提供家庭教育指导服务，并在发现父母不履行家庭教育责任时，进行劝导、教育或者向相关部门提出处理建议。

综上所述，当父母不履行家庭教育责任时，多个部门都有权进行干预，以确保未成年人能够健康成长。如果你或你身边的人遇到相关问题，可以及时向这些部门求助。