关于“现场没有按图施工在施工单位是谁的责任”这一问题，我们可以明确以下几点：

结论前置：现场未按图施工，施工单位应承担主要责任，但也可能涉及建设单位和监理单位的责任。

一、施工单位责任

• 施工单位有严格按照施工图纸进行施工的法定义务。若未按图施工，无论工程是否已通过验收，施工方均存在违约行为，并需承担相应责任。
• 若因未按图施工导致工程质量不符合约定或存在安全隐患，施工方需承担维修、返工、拆除重建等违约责任，并赔偿因此造成的损失。

二、建设单位责任

• 建设单位在验收过程中有义务对工程是否按图施工进行审查。若因审查不严未发现明显未按图施工的情况，建设单位可能需自行承担部分损失。
• 若建设单位指示或同意施工方未按图施工，则建设单位应承担主要责任，并对由此产生的后果负责。

三、监理单位责任

• 监理单位负责对工程建设进行全程监督，确保施工符合设计要求和相关标准。若监理单位在施工过程中未发现或未及时制止未按图施工的行为，或在验收时把关不严，则需承担相应的监理责任。

四、法律依据

• 根据《中华人民共和国建筑法》第七十四条，建筑施工企业不按照工程设计图纸或者施工技术标准施工的，将受到责令改正、罚款等处罚；情节严重的，还将面临更严厉的处罚，如责令停业整顿、降低资质等级或吊销资质证书等。
• 《建设工程质量管理条例》第六十四条也规定了施工单位未按工程设计图纸或施工技术标准施工的具体处罚措施。

五、综合建议

• 在处理此类纠纷时，应全面考虑合同内容、实际施工情况、验收流程与标准以及法律法规等因素。
• 各方应加强沟通与合作，确保施工严格按照设计图纸进行，避免不必要的纠纷和损失。
• 若发生未按图施工的情况，应及时采取措施进行整改，并依法承担相应责任。

综上所述，现场未按图施工，施工单位应承担主要责任，但也可能涉及建设单位和监理单位的责任。在处理此类问题时，应综合考虑各方面因素，并依法进行责任划分和纠纷解决。