关于物业处罚的负责部门，这主要取决于具体的违规行为和所在地区的物业管理条例。一般来说，县级以上地方人民政府房地产行政主管部门在物业处罚中扮演着重要角色。

根据《物业管理条例》的相关规定，对于住宅物业的建设单位未通过招投标方式选聘物业服务企业、擅自处分业主的物业共用部位或设施、不移交有关资料、将全部物业管理委托给他人、挪用专项维修资金、不按规定配置物业管理用房以及擅自改变物业管理用房用途等违规行为，都是由县级以上地方人民政府房地产行政主管部门负责责令限期改正，并可能给予警告、罚款等处罚。

然而，也需要注意，物业区域的违法行为并非全部由房地产行政主管部门负责管理。例如，根据《福建省物业管理条例》第六十九条的规定，县级以上地方人民政府的城市管理、公安、应急管理、市场监督管理、生态环境、卫生健康、自然资源、消防以及其他有关部门，也需要在物业服务区域的公共秩序、治安、消防安全、环境卫生、房屋使用、物业服务收费等方面进行监督管理，并依法处理物业服务区域内的违法行为。

因此，物业处罚的负责部门并非单一，而是根据具体的违规行为和地区条例来确定。如果遇到物业相关的违规行为，建议首先查阅当地的物业管理条例或相关规定，以明确具体的负责部门和处罚措施。如果无法确定，也可以向当地的房地产行政主管部门或相关政府部门进行咨询，以获取更准确的信息和帮助。