结论概述：
对方欠你钱却以货物有问题为由要罚你款，这一行为是否合法需分情况讨论。关键在于货物是否确实存在问题、双方合同中是否有相关约定以及对方主张罚款的依据是否充分。
详细分析：
货物质量问题：
- 若货物确实存在问题：如果经过核实，你提供的货物确实存在质量问题，且这一质量问题在合同中有明确约定或符合行业惯例中对于货物质量的定义，那么对方有权根据合同或法律规定要求你承担相应的违约责任。但违约责任的形式通常是赔偿损失、修理、更换等，而非直接“罚款”。罚款通常是一种行政处罚措施，不适用于平等主体之间的民事纠纷。
- 若货物不存在问题：如果货物质量符合合同约定或行业标准，对方无权以货物有问题为由要求你承担任何费用或责任。此时，对方的行为可能构成违约或不当得利，你有权要求对方继续履行付款义务。
合同约定：
- 合同中有明确约定：如果双方合同中明确约定了货物质量问题的处理方式，包括是否允许罚款、罚款的数额或计算方式等，那么应按照合同约定执行。但需注意，合同中的罚款条款应合法有效，不得违反法律、行政法规的强制性规定。
- 合同中无明确约定：如果合同中没有明确约定货物质量问题的处理方式，那么应依据相关法律法规和行业惯例来确定双方的权利义务。在此情况下，对方无权单方面决定罚款。
对方主张罚款的依据：
- 合法依据：如果对方主张罚款的依据是合法有效的合同条款、法律法规或行业惯例，且你确实存在违约行为，那么对方有权要求你承担相应的责任。但如前所述，罚款通常不是民事纠纷中的合法责任形式。
- 无合法依据：如果对方无法提供合法有效的依据来支持其罚款主张，或者其主张明显不合理、不公平，那么你有权拒绝承担任何费用或责任，并可以要求对方继续履行付款义务。
法律建议：
- 核实货物质量：首先，你需要核实货物是否确实存在问题，以及问题的严重程度和影响范围。这可以通过与对方沟通、委托第三方检测机构进行检测等方式来实现。
- 审查合同条款：仔细审查双方签订的合同，特别是关于货物质量、违约责任和争议解决方式的条款。这有助于你了解自己的权利和义务，以及对方可能提出的抗辩理由。
- 与对方协商：在核实货物质量和审查合同条款后，你可以与对方进行协商，尝试达成一个双方都能接受的解决方案。如果协商无果，你可以考虑采取法律手段来维护自己的权益。
- 寻求法律帮助：如果对方坚持要求你承担不合理的费用或责任，或者你无法与对方达成一致意见，那么你可以寻求专业律师的帮助。律师可以为你提供法律咨询、代理诉讼或仲裁等服务，帮助你维护自己的合法权益。
可能后果：
- 若你胜诉：如果法院或仲裁机构认定对方的主张无合法依据或不合理，那么你将无需承担任何费用或责任，并有权要求对方继续履行付款义务。同时，你还可以要求对方承担因诉讼或仲裁而产生的合理费用（如律师费、诉讼费等）。
- 若你败诉：如果法院或仲裁机构认定你确实存在违约行为，且对方的主张合法有效，那么你可能需要承担相应的责任（如赔偿损失、修理、更换等）。但如前所述，罚款通常不是民事纠纷中的合法责任形式，因此你无需承担罚款责任。