有权直接处罚物业公司的单位主要包括以下两类，具体需结合违法情形和处罚依据确定：

1. 行政主管部门

   • 房管部门/住建部门：作为物业行业的主管部门，可依据《物业管理条例》《物业服务收费管理办法》等法规，对物业公司未履行合同义务（如未公示公共收益、擅自提高物业费）、未按规定备案、未履行安全保障义务等行为进行处罚，常见措施包括警告、罚款、没收违法所得、吊销资质证书等。
     
   • 市场监管部门：若物业公司存在价格违法行为（如超标准收费、未明码标价），市场监管部门可依据《价格法》《反不正当竞争法》等法规进行处罚，包括罚款、责令退还多收费用等。
     
   • 应急管理部门/消防部门：针对物业公司未履行消防安全职责（如堵塞消防通道、未定期检查消防设施）的行为，可依据《消防法》进行处罚，包括罚款、责令整改等。
     
   • 城市管理部门：若物业公司涉及违规搭建、占用公共空间等行为，城管部门可依据《城乡规划法》《城市市容和环境卫生管理条例》等法规进行处罚。

2. 司法机关

   • 法院：在业主与物业公司的民事纠纷中（如物业费纠纷、侵权赔偿），法院可通过判决要求物业公司承担民事责任（如赔偿损失、退还费用）。若物业公司拒不履行生效判决，法院可采取强制执行措施（如冻结账户、列入失信名单）。
     
   • 公安机关：若物业公司行为涉嫌犯罪（如挪用专项维修资金、故意毁坏财物），公安机关可依据《刑法》立案侦查，追究刑事责任。

补充说明：

• 处罚需以“违法事实”为前提，行政处罚需由主管部门依法定程序作出，司法处罚需通过诉讼或刑事程序确定。
  
• 业主可通过投诉、举报等方式启动行政处罚程序（如向房管部门投诉物业不作为），也可通过业主大会决议解聘物业公司（属于民事自治范畴，非行政处罚）。
  

若有具体纠纷场景（如物业费争议、服务质量问题），可进一步说明细节，我会帮您分析责任主体和维权路径。