施工方不按图施工，发包方不可以直接拒绝结算，但可以通过合法途径主张权利。以下从不同角度为您详细分析：
一、合同约定与法律规定
合同约定优先：首先，需要查看施工合同中是否有关于不按图施工的明确约定。如果合同中明确规定了施工方不按图施工时，发包方有权拒绝结算或采取其他惩罚措施，那么发包方可以依据合同约定行事。
法律规定：根据《民法典》等相关法律法规，施工方应当按照合同约定和设计图纸进行施工。如果施工方不按图施工，构成违约行为，发包方有权要求施工方承担违约责任，包括但不限于修复、返工、赔偿损失等。但直接拒绝结算可能并非法律规定的直接救济方式。
二、发包方的权利与救济途径
要求修复或返工：发包方可以要求施工方对不按图施工的部分进行修复或返工，直至符合设计图纸要求。这是发包方最直接且合理的救济方式。
主张违约责任：如果施工方拒绝修复或返工，或者修复、返工后仍不符合要求，发包方可以依据合同约定和法律规定，主张施工方承担违约责任，包括赔偿因违约造成的损失。
解除合同：在施工方严重违约，导致合同目的无法实现的情况下，发包方还有权解除合同，并要求施工方赔偿因此造成的损失。但解除合同需谨慎，应确保符合法律规定的解除条件。
结算与扣款：虽然直接拒绝结算可能不合法，但发包方可以在结算时，根据施工方实际完成且符合设计要求的工程量进行结算，并扣除因不按图施工造成的损失部分。这需要发包方在结算过程中提供充分的证据支持。
三、实际操作建议
收集证据：发包方应收集施工方不按图施工的相关证据，包括但不限于现场照片、视频、监理报告、设计变更通知等。这些证据将作为主张权利的重要依据。
协商与沟通：在发现施工方不按图施工后，发包方应及时与施工方进行协商和沟通，要求其立即整改。如果协商无果，再考虑采取法律手段。
寻求法律帮助：如果发包方对如何处理施工方不按图施工的问题感到困惑或无法解决，可以寻求专业律师的帮助。律师将根据具体情况提供法律意见和解决方案。
总结来看，施工方不按图施工时，发包方不可以直接拒绝结算，但可以通过要求修复或返工、主张违约责任、解除合同以及在结算时扣除损失等方式来维护自己的合法权益。如果您在此方面遇到任何问题或需要进一步的法律帮助，请随时向我咨询。