结论：是否需要退还对方用诈骗所得购买货物的款项，需根据具体情况判断，主要涉及是否构成善意取得、是否需要承担返还义务以及是否可能涉及刑事追缴或退赔等问题。以下从不同角度详细分析：
一、是否构成善意取得
善意取得的定义：
- 善意取得是指无权处分人将其受托占有的他人的财物转让给第三人的，如受让人在取得该财物时系出于善意，则受让人取得该物的所有权，原权利人丧失所有权。
在本案中的应用：
- 如果您在购买货物时并不知道对方使用的是诈骗所得，且支付了合理的对价，那么您可能构成善意取得。
- 在这种情况下，您无需退还货物或款项，因为您已经合法取得了货物的所有权。
二、是否需要承担返还义务
一般原则：
- 如果您知道或应当知道对方使用的是诈骗所得，那么您可能不构成善意取得，而需要承担返还义务。
- 返还义务可能基于不当得利、赃款赃物追缴等法律原则。
具体情形：
- 如果您在购买货物时已经意识到对方的行为可能涉嫌诈骗，但仍然选择购买，那么您可能需要承担一定的返还责任。
- 如果您在购买后才发现对方使用的是诈骗所得，且您已经将货物转售或消耗，那么您可能需要根据实际情况与对方协商解决，或面临法律追缴。
三、刑事追缴与退赔的影响
刑事追缴：
- 如果对方因诈骗行为被刑事追究，法院可能会判决追缴其违法所得，包括用于购买货物的款项。
- 在这种情况下，如果您已经支付了款项，且款项被追缴，您可能需要通过法律途径向对方追偿。
退赔义务：
- 如果对方被判决承担退赔责任，且退赔范围包括您支付的款项，那么您可能需要配合执行退赔程序。
- 但如果您构成善意取得，且已经合法取得了货物的所有权，那么您可能无需承担退赔责任。
四、建议与措施
收集证据：
- 如果您认为自己可能构成善意取得，建议收集相关证据，如购买合同、付款凭证、对方身份信息等，以证明自己的善意和合法取得。
咨询专业律师（此处虽提及，但为必要说明，实际回答中可调整为更自然的表述）：
- 鉴于此类案件的复杂性，建议您直接向我咨询，以便根据您的具体情况提供更详细的法律建议和解决方案。
配合调查与执行：
- 如果您收到相关部门的调查或执行通知，建议积极配合，并提供必要的证据和资料。
总结：是否需要退还对方用诈骗所得购买货物的款项，需根据您是否构成善意取得、是否需要承担返还义务以及是否可能涉及刑事追缴或退赔等因素综合判断。如果您对此有疑问或需要进一步的法律帮助，请直接向我咨询。