关于“家庭暴力的认定由谁来负责”这个问题，我可以为你提供详细的解答。

家庭暴力的认定是一个综合性的过程，涉及多个部门和机构的协作。具体来说：

1. 公安机关：在处理家暴案件时，公安机关会深入现场，仔细调查取证，包括收集现场情况、当事人的讲述以及证人的言辞等信息，以此来认定家暴行为。若构成违反治安管理行为的，公安机关会依法给予治安管理处罚；构成犯罪的，则依法追究刑事责任。

2. 居委会/村委会：这类基层组织凭借日常的走访工作以及群众的反馈，能够知晓家庭的状况，对那些疑似存在家暴行为的情况加以关注并进行干预，像邻里的守护者一样，为受害者提供及时的帮助和支持。

3. 人民法院：在审理涉及家暴的离婚、继承等案件时，人民法院会依法认定家暴事实并作出公正裁判。同时，受害人也可以依法向人民法院申请人身安全保护令，以保护自身的人身安全。

4. 医疗机构：医疗机构在诊疗过程中，会做好家庭暴力受害人的诊疗记录，这些记录可以作为后续认定家暴的证据支持。

综上所述，家庭暴力的认定并非由单一部门负责，而是需要多个部门和机构的共同协作。如果你或你身边的人遭受了家庭暴力，建议及时向公安机关报案，并寻求居委会/村委会、人民法院以及医疗机构等相关部门的帮助和支持。同时，我也可以提供专业的法律咨询和援助，帮助你维护自己的合法权益。