物业违约撤场，一般由相关的行政主管部门或业主大会、业主委员会根据具体情况进行处罚或处理，而非单一主体直接进行处罚。以下是对此问题的详细分析：
一、行政主管部门的角色与处罚
住房和城乡建设部门：
- 物业公司的管理活动通常受到住房和城乡建设部门的监管。若物业公司存在违约撤场等违规行为，该部门有权依据相关法律法规进行处罚，如警告、罚款、吊销资质证书等。
- 处罚依据可能包括《物业管理条例》等相关法规，其中明确规定了物业公司的权利义务以及违规行为的处罚措施。
其他相关部门：
- 根据具体情况，其他如市场监管部门、消防部门等也可能对物业公司的违规行为进行监管和处罚。例如，若物业公司未履行消防安全职责导致火灾等事故，消防部门将依法进行处罚。
二、业主大会与业主委员会的权力与处理
业主大会：
- 业主大会是物业区域内的最高权力机构，有权决定物业公司的选聘、解聘等重大事项。若物业公司违约撤场，业主大会可以召开会议讨论并决定是否解聘该物业公司，以及选聘新的物业公司。
- 业主大会还可以通过制定或修改业主公约等方式，对物业公司的行为进行规范和约束。
业主委员会：
- 业主委员会是业主大会的执行机构，负责具体执行业主大会的决定。在物业公司违约撤场的情况下，业主委员会可以代表业主与物业公司进行协商、谈判，要求其继续履行合同或承担违约责任。
- 若协商无果，业主委员会还可以协助业主向相关部门投诉或提起诉讼，维护业主的合法权益。
三、法律途径与诉讼
民事诉讼：
- 若物业公司违约撤场给业主造成了损失，业主可以通过民事诉讼的方式要求物业公司承担赔偿责任。在此过程中，法院将根据事实和法律规定进行判决，要求物业公司赔偿业主的损失。
行政诉讼：
- 若业主认为行政主管部门对物业公司的处罚不当或未履行监管职责，还可以通过行政诉讼的方式维护自己的合法权益。在此过程中，法院将对行政主管部门的处罚决定进行审查，并作出相应的判决。
四、建议与措施
加强监管：
- 行政主管部门应加强对物业公司的监管力度，定期对其服务质量和合同履行情况进行检查和评估。对于存在违规行为的物业公司，应及时进行处罚并公示处理结果。
完善合同：
- 业主在选聘物业公司时，应签订详细、明确的物业服务合同，明确双方的权利义务和违约责任。这样，在物业公司违约撤场时，业主可以依据合同要求其承担相应的违约责任。
增强业主意识：
- 业主应增强自己的法律意识和维权意识，了解自己的权利和义务。在物业公司违约撤场时，应积极采取措施维护自己的合法权益，如向相关部门投诉、提起诉讼等。
如有任何关于物业纠纷的法律问题，可以直接向我咨询。我将根据您的具体情况提供专业的法律建议和帮助。