结论：在合同单价为固定价但商品规格与合同不符的情况下，作为付款方，您确实有可能少付款，但具体能否少付及少付的金额，需根据合同条款、实际损失及法律规定综合判断。

分析如下：

1. 合同条款的约定：

   • 首先，应仔细审查合同中关于商品规格、质量标准、验收程序以及付款条件的条款。如果合同中明确规定了商品规格不符时的处理方式，如允许扣款、换货或解除合同等，那么应按照合同约定执行。
   • 若合同未明确规定，则需依据相关法律法规及行业惯例来判断。

2. 实际损失的计算：

   • 如果商品规格不符导致您遭受了实际损失，如生产延误、销售减少或额外成本支出等，您有权要求卖方赔偿这些损失。在赔偿金额确定后，您可以从应付款项中扣除相应金额。
   • 实际损失的计算应基于合理、公正的原则，并尽可能提供充分的证据支持，如购买替代品的发票、生产延误的证明等。

3. 法律规定的适用：

   • 根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
   • 在商品规格不符的情况下，卖方已构成违约，您作为买方有权要求卖方承担违约责任，包括赔偿损失。如果赔偿金额足以覆盖您因规格不符而遭受的损失，且您同意接受该赔偿，则可以从应付款项中扣除相应金额。

4. 协商与诉讼的选择：

   • 在处理此类纠纷时，建议首先与卖方进行协商，尝试达成和解协议。协商过程中，您可以提出少付款的要求，并说明理由和依据。
   • 如果协商无果，您可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁。在诉讼或仲裁过程中，法院或仲裁机构将根据合同条款、实际损失及法律规定来裁决您是否有权少付款及少付的金额。

建议：

• 在处理此类纠纷时，务必保留好所有相关证据，如合同、发票、验收报告、沟通记录等，以便在需要时提供证明。
• 如果您对合同条款、法律规定或实际损失的计算存在疑问，建议咨询专业律师以获取更准确的法律意见。
• 在与卖方协商或通过法律途径解决纠纷时，保持冷静和理性，避免情绪化行为影响纠纷的解决。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。