发货方不能仅以货物被警方扣留为由不退还货款，是否需要退还货款需根据具体情况判断。以下从不同角度进行分析：
一、合同履行与违约责任
在货物买卖合同中，发货方有义务按照合同约定交付货物，买方则有义务支付货款。若发货方因自身原因（如未取得合法经营资质、货物存在质量问题等）导致货物被警方扣留，这通常构成发货方的违约行为。根据《中华人民共和国民法典》的相关规定，违约方应当承担违约责任，包括继续履行、采取补救措施或赔偿损失等。在此情况下，发货方不能仅以货物被扣留为由拒绝退还货款，而应当根据买方的要求，采取补救措施（如重新发货）或赔偿买方因此遭受的损失（包括货款损失）。
二、货物被扣留的原因与责任划分
发货方原因：如果货物被扣留是因为发货方未取得合法的烟花爆竹销售、运输资质，或者货物本身存在质量问题、安全隐患等，那么发货方应当承担全部责任。在这种情况下，发货方不仅应当退还货款，还可能需要赔偿买方因此遭受的其他损失。
不可抗力或第三方原因：如果货物被扣留是由于不可抗力（如自然灾害、政府行为等）或第三方原因（如运输过程中的意外事件）导致的，且发货方已经尽到了合理的注意义务和防范措施，那么发货方可能不需要承担全部责任。然而，即使在这种情况下，发货方也不能直接以货物被扣留为由拒绝退还货款。双方应当根据合同约定和实际情况，协商解决货款退还问题。如果合同中没有明确约定，那么可以根据公平原则和诚实信用原则，由双方分担损失或协商确定退款金额。
三、实际操作建议
查看合同条款：首先，双方应当仔细审查货物买卖合同的条款，特别是关于货物交付、违约责任和争议解决等方面的约定。如果合同中有明确约定货物被扣留时的处理方式，那么应当按照合同约定执行。
协商解决：如果合同中没有明确约定或约定不明确，双方应当积极协商解决货款退还问题。在协商过程中，双方可以充分考虑货物被扣留的原因、责任划分以及买方的实际损失等因素，寻求一个公平合理的解决方案。
法律途径：如果协商无果，买方可以考虑通过法律途径维护自己的合法权益。例如，可以向法院提起诉讼或申请仲裁，要求发货方退还货款并赔偿损失。在诉讼或仲裁过程中，双方需要提供相关证据来支持自己的主张。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。