缓刑人员主要由县（市）公安局、城市公安分局负责监督管理，具体由罪犯居住地的公安派出所执行监督考察任务。此外，罪犯居住地的街道居民委员会、村民委员会或者原所在单位也会协助进行监督。

公安机关在收到人民法院对罪犯作出的缓刑判决、裁定后，会及时组成监督考察小组，建立被监督管理罪犯档案，并制定和落实监督管理的具体措施。在缓刑考验期限内，缓刑人员必须遵守国家法律、法规和公安部制定的有关规定，定期向执行机关报告自己的活动情况，迁居或者离开所居住区域必须经公安机关批准，并遵守公安机关制定的具体监督管理措施。

如果缓刑人员在考验期限内违反规定，但尚未构成新的犯罪，公安机关会依法给予治安管理处罚。如果构成新的犯罪，公安机关将依法报请人民法院撤销缓刑，追究其刑事责任。缓刑考验期满，且缓刑人员在考验期间没有再犯新罪，原判刑罚将不再执行，公安机关会向缓刑人员宣布并通报原判决人民法院。

总的来说，缓刑人员的监督管理工作由公安机关负责，以确保缓刑人员能够遵守规定，顺利度过缓刑考验期。