物业服务人拒不退出物业管理区域的，一般由区住房和城乡建设或者房屋主管部门责令限期改正。具体来说：

1. 法律依据与责任主体
   根据《北京市物业管理条例》第九十七条，若物业服务人违反条例第七十六条第一款规定（即业主共同决定解聘后拒不退出），由区住房和城乡建设或者房屋主管部门责令限期改正。逾期未改正的，主管部门可对物业服务人予以通报，并针对拒不移交资料或财物的行为处以一万元以上十万元以下罚款；拒不退出物业管理区域的，自规定时间届满次日起，按每日一万元的标准处以罚款。此外，若物业服务人的行为违反治安管理规定，公安机关将依法给予治安管理处罚。

2. 其他地区的类似规定
   以《四川省物业管理条例》第一百条为例，若物业服务企业未按规定退出物业管理区域，经县（市、区）人民政府住房城乡建设主管部门责令限期移交、退出后，逾期仍不执行的，自责令规定时间届满次日起，按每日一万元的标准处以罚款，且二年内不得承接新的物业项目。这一规定与北京市的处理逻辑一致，均强调主管部门责令改正为前置程序，逾期未改正则启动罚款等处罚措施。

3. 法律后果与建议

   • 对物业服务人：拒不退出可能面临高额罚款、通报批评、行业禁入等后果，甚至承担治安管理责任。
     
   • 对业主或业委会：若遇物业服务人拒不退出，可向区住房和城乡建设或房屋主管部门投诉，要求其履行责令改正的职责。若主管部门未依法处理，可进一步通过行政复议或诉讼途径维护权益。
     
   • 实务建议：业主或业委会在解聘物业服务人时，应确保解聘程序合法（如通过业主共同决定），并留存通知送达的证据（如书面通知、签收记录等），以便在后续纠纷中证明已履行法定告知义务。

总结：物业服务人拒不退出物业管理区域的，区住房和城乡建设或者房屋主管部门是责令其退出的法定主体。若您遇到此类问题，可向当地主管部门投诉，并保留好相关证据以备维权。如有进一步疑问，欢迎直接向我咨询。