结论：能否要回第二次货款，需根据具体情况判断，主要取决于第一次货物质量问题与第二次货款支付之间的法律关联性及合同约定。以下从不同角度进行分析：
一、合同约定角度
若合同明确约定货款支付与货物质量挂钩：
- 如果合同中明确规定了，第二次货款的支付以第一次货物质量合格为前提条件，那么对方以第一次货物质量为由拒绝支付第二次货款，在法律上是有一定依据的。此时，你需要先证明第一次货物质量是符合合同约定的，或者证明对方拒绝支付货款的行为违反了合同约定且没有合法理由，才有可能要回第二次货款。
- 建议：仔细审查合同条款，收集第一次货物质量合格的证据，如质量检验报告、验收单等，以证明对方拒绝支付货款的行为没有合法依据。
若合同未明确约定货款支付与货物质量挂钩：
- 如果合同中没有明确规定第二次货款的支付与第一次货物质量有关，那么对方以第一次货物质量为由拒绝支付第二次货款，可能构成违约。在此情况下，你有权要求对方按照合同约定支付第二次货款。
- 建议：依据合同条款，向对方发出催款通知，并保留好相关证据，如合同、发货单、对方收货确认单等，以备后续法律诉讼之用。
二、法律规定角度
根据《民法典》中关于买卖合同的规定：
- 买卖合同是出卖人转移标的物的所有权于买受人，买受人支付价款的合同。如果第一次货物质量确实存在问题，且该问题与第二次货款支付存在法律上的关联性（如合同有约定或法律规定），那么对方有权要求你承担违约责任，包括修理、更换、退货、减少价款等。但这并不直接等同于对方可以拒绝支付第二次货款，除非合同有明确约定或法律有特别规定。
- 建议：如果第一次货物质量存在问题，应积极与对方协商解决方案，如修理、更换等，以避免纠纷升级。同时，也要关注对方是否滥用权利，无故拒绝支付第二次货款。
对方拒绝支付货款的行为是否构成违约：
- 如果对方无正当理由拒绝支付第二次货款，且该行为违反了合同约定或法律规定，那么对方的行为构成违约。你有权要求对方承担违约责任，包括支付货款、赔偿损失等。
- 建议：在对方拒绝支付货款时，及时发出书面催款通知，并保留好相关证据。如果对方仍不支付，可以考虑通过法律途径解决纠纷，如起诉或申请仲裁。
三、实际操作角度
收集证据：
- 无论是从合同约定还是法律规定角度，收集证据都是关键。你需要收集第一次货物质量合格的证据、合同文本、发货单、对方收货确认单、催款通知等，以证明你的主张。
协商与调解：
- 在提起诉讼或申请仲裁前，可以尝试与对方进行协商或调解。通过友好沟通，寻求双方都能接受的解决方案，以节省时间和成本。
法律途径：
- 如果协商或调解无果，你可以考虑通过法律途径解决纠纷。根据合同约定或法律规定，选择合适的管辖法院或仲裁机构，提起诉讼或申请仲裁。
总结与进一步行动建议：能否要回第二次货款取决于合同约定、法律规定以及实际操作中的证据收集和策略选择。建议你先仔细审查合同条款，收集相关证据，然后与对方进行协商或调解。如果无法达成一致，再考虑通过法律途径解决纠纷。如果你在此过程中有任何疑问或需要进一步的法律帮助，可以直接向我咨询。