如施工方均不在场，只有接劳务工作的公司在现场，这主要涉及到施工管理和合同履行的责任问题，具体处罚应依据相关法律法规及合同条款来判定。以下是对此问题的详细分析：

一. 施工管理责任

1. 依据相关法律法规：根据《建筑施工企业管理规定》及《建筑施工安全检查标准》等相关规定，施工单位应确保施工现场有相应的管理人员和技术人员在场，以监督施工质量和安全。
2. 责任判定：若施工方均未在场，而仅有接劳务工作的公司在现场，这表明施工单位未履行其施工管理责任。此时，应首先判断施工单位是否违反了相关法律法规及合同约定。

二. 合同履行问题

1. 合同条款审查：需审查施工合同中的相关条款，特别是关于施工现场管理、人员配备及违约责任等方面的约定。
2. 违约判定：若施工合同中明确规定施工单位需派员在场管理，而实际未履行，则构成违约。此时，接劳务工作的公司虽在现场，但其行为并不足以替代施工单位的管理责任。

三. 处罚措施

1. 法律依据：根据《合同法》及《建筑施工企业管理规定》等相关法律法规，对于未履行施工管理责任或违反合同约定的行为，可采取相应的法律措施，包括但不限于罚款、停工整顿、吊销施工许可证等。
2. 具体处罚：具体处罚措施应由相关监管部门或法院根据违规情节的严重程度、造成的后果以及合同条款的约定来判定。可能包括对施工单位的罚款、责令整改、暂停或吊销其施工资质等。

四. 建议与后续行动

1. 我建议：首先，应尽快与施工单位取得联系，要求其立即派员到场管理，并就已发生的违规行为进行整改。同时，可依据合同条款向施工单位提出索赔要求。
2. 后续行动：若施工单位拒不整改或赔偿，可考虑向相关监管部门举报其违规行为，或依法向法院提起诉讼，以维护自身合法权益。

综上所述，对于施工方均不在场，只有接劳务工作的公司在现场的情况，应依据相关法律法规及合同条款来判定责任及处罚措施。如有进一步需要，您可以继续咨询我。