结论：在工厂货已做好而您不要了的情况下，预付款是否可以要求卖家退还，需根据合同条款、双方协商及法律规定综合判断，不能一概而论。

一、合同条款优先

1. 查看合同条款：首先，您需要仔细审查货物买卖合同中关于预付款退还的条款。如果合同中明确规定了在买方违约（如不要货）的情况下，预付款应如何处理（如退还、没收或部分退还），则应按照合同条款执行。

2. 合同无明确规定：如果合同中没有明确规定预付款在买方违约时的处理方式，那么您需要与卖家进行协商，看是否能够达成一致意见。

二、双方协商

1. 协商退还：您可以尝试与卖家协商，看是否能够退还部分或全部预付款。在协商过程中，您可以提出自己的理由和困难，争取卖家的理解和支持。

2. 协商无果：如果协商无果，或者卖家拒绝退还预付款，那么您可能需要考虑通过法律途径来解决争议。

三、法律规定

1. 《民法典》相关规定：根据《民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。这意味着，如果您作为买方违约不要货，可能需要承担一定的违约责任，包括但不限于赔偿卖家因此遭受的损失。

2. 预付款性质：预付款通常被视为买方为履行合同而提前支付的一部分款项。如果合同没有明确规定预付款在违约时的处理方式，那么根据法律规定和公平原则，预付款可能不会被全额退还，特别是当卖家已经为生产货物投入了成本时。

四、可能后果与建议

1. 卖家损失：如果卖家已经为生产货物投入了大量成本，而您突然不要货，这可能会给卖家造成重大损失。在这种情况下，卖家可能会拒绝退还预付款，或者要求您赔偿其损失。

2. 法律途径：如果您认为卖家无权扣留预付款，或者双方无法就预付款退还问题达成一致意见，那么您可以考虑通过法律途径来解决争议。这可能包括向法院提起诉讼或申请仲裁等。

3. 建议：在处理此类问题时，我建议您首先与卖家进行友好协商，尽量达成一致意见。如果协商无果，您可以考虑咨询专业律师（当然，您可以直接向我咨询），了解您的法律权利和义务，以及可能的法律后果。同时，我也建议您在未来的合同中明确规定预付款在违约时的处理方式，以避免类似的争议发生。