施工单位项目经理不到场，其违约责任的大小取决于合同约定、行业法规及具体违约情形，可能涉及民事责任、行政责任及对施工单位信誉的负面影响。以下从不同角度详细分析：
一、基于合同约定的民事责任
与建设单位的合同：
- 若建设工程施工合同中明确规定了项目经理的到岗要求，而项目经理长期不到场，则构成违约。建设单位有权要求施工单位承担违约责任，包括但不限于支付违约金、赔偿因工期延误造成的损失、修复因项目经理不到场导致的工程质量问题等。
与项目经理的聘用合同：
- 施工单位与项目经理签订的聘用合同中，若规定了项目经理的到岗义务，而项目经理违反此义务，施工单位可依据合同约定对项目经理进行处罚，如扣发工资、奖金，甚至解除聘用合同。
二、基于行业法规和规范性文件的行政责任
警告与罚款：
- 根据《注册建造师管理规定》，项目经理未履行注册建造师职责，可能面临警告和罚款。没有违法所得的，处以1万元以下的罚款；有违法所得的，处以违法所得3倍以下且不超过3万元的罚款。
- 特定地区如江苏省，根据《江苏省房屋建筑和市政基础设施工程质量监督管理办法》，项目经理擅自变更离岗或未按照规定配备相应的工程项目管理人员的，由住房和城乡建设行政主管部门责令改正，并可处5000元以上3万元以下罚款。
暂停执业或吊销资格证书：
- 若项目经理长期不到岗导致工程出现严重质量、安全事故，可能面临暂停执业甚至吊销注册建造师资格证书的处罚。
限制市场准入或清出建筑市场：
- 部分地方建筑市场监管规定中，对于项目经理长期不到岗等严重违反执业规范的行为，可能采取限制市场准入或清出建筑市场的措施，禁止其在一定期限内或永久在当地承接新的工程项目。
三、安全生产管理责任
- 根据《建筑施工企业主要负责人、项目负责人和专职安全生产管理人员安全生产管理规定》，项目经理未履行安全生产管理职责，相关部门将责令限期改正；逾期未改正的，可能面临2万元以上5万元以下的罚款，并责令停产停业整顿。若整改期间发生生产安全事故，还将依法进行更严厉的处罚，甚至可能被追究刑责。
四、对施工单位信誉的影响
- 项目经理长期不到岗会影响施工单位的信誉和声誉，降低其在行业内的形象和竞争力，进而对其未来的业务发展产生负面影响。例如，可能影响施工单位在评奖评优中的资格，或作为违法分包、转包查处的线索之一。
建议
为避免上述潜在处罚和风险，施工单位应确保项目经理能够按照合同约定和相关法规要求到岗履职。如有特殊情况需离岗，应及时与建设单位沟通并办理相关手续，确保项目的顺利进行。同时，施工单位应加强内部管理，建立健全项目经理考勤和监管机制，以确保项目经理能够切实履行其职责。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。