针对危害婴幼儿安全的行为，主要由以下几个部门负责处理：

1. 公安机关：

   • 职责：公安机关是维护社会治安和打击犯罪的主要力量。对于危害婴幼儿安全的行为，如虐待、拐卖、遗弃等，公安机关会立即介入调查，收集证据，并依法对犯罪嫌疑人采取强制措施。
   • 法律依据：根据《中华人民共和国刑法》的相关规定，虐待、拐卖、遗弃婴幼儿等行为均构成犯罪，公安机关有权依法进行刑事立案侦查。

2. 检察机关：

   • 职责：检察机关负责审查公安机关移送的案件，决定是否对犯罪嫌疑人提起公诉。在危害婴幼儿安全的案件中，检察机关会严格审查案件事实和证据，确保犯罪嫌疑人得到应有的法律制裁。
   • 法律依据：根据《中华人民共和国刑事诉讼法》的规定，检察机关对刑事案件具有审查起诉的职权，对于危害婴幼儿安全的犯罪行为，检察机关会依法提起公诉。

3. 民政部门：

   • 职责：民政部门在婴幼儿保护方面也扮演着重要角色。他们负责接收和安置被遗弃、虐待或无法找到监护人的婴幼儿，提供临时或长期的照护服务。同时，民政部门还会与公安机关、检察机关等部门协作，共同打击危害婴幼儿安全的行为。
   • 法律依据：根据《中华人民共和国未成年人保护法》的相关规定，民政部门应当建立未成年人保护工作机制，协调和督促有关部门做好未成年人保护工作。

4. 儿童福利机构：

   • 职责：儿童福利机构是专门为婴幼儿提供照护和保护的机构。他们接收被遗弃、虐待或无法找到监护人的婴幼儿，提供生活照料、教育、医疗等服务。在发现危害婴幼儿安全的行为时，儿童福利机构会及时向公安机关报案，并协助调查。
   • 法律依据：虽然儿童福利机构不是政府部门，但他们在婴幼儿保护方面发挥着重要作用。根据《中华人民共和国未成年人保护法》和《儿童福利机构管理办法》等规定，儿童福利机构有义务保护婴幼儿的合法权益。

在处理危害婴幼儿安全的行为时，各部门会相互协作，形成合力。例如，公安机关在调查过程中可能会需要检察机关的提前介入或指导，民政部门和儿童福利机构则可能提供被害婴幼儿的临时安置和照护服务。同时，社会各界也应积极参与婴幼儿保护工作，共同营造一个安全、健康的成长环境。

如果您发现身边有危害婴幼儿安全的行为，请立即向公安机关报案。同时，如果您对婴幼儿保护方面的法律问题有任何疑问或需要进一步的法律帮助，请随时向我咨询。