信用证单子拒付并不直接导致货物退回，具体处理方式需根据实际情况确定。

一. 信用证拒付的含义与后果

1. 拒付的定义：信用证拒付通常指的是开证行或保兑行在审核单据后，认为存在不符点或其他原因，拒绝承付或议付受益人提交的单据。
2. 不直接导致退货：拒付本身并不直接意味着货物会被退回。货物的处理方式取决于买卖合同中的约定以及双方当事人的协商。

二. 货物退回的可能性与条件

1. 合同约定：如果买卖合同中明确规定了货物在拒付情况下的处理方式，如退回、转售等，则应按照合同约定执行。
2. 双方协商：如果合同中没有明确规定，双方可以协商处理。买方可能要求退回货物，但也可能同意接受货物并支付部分款项，或者采取其他解决方案。
3. 退货的实际操作：退货涉及物流、仓储、关税等一系列问题，因此在实际操作中可能较为复杂。双方需要就退货的具体细节，如退货时间、地点、费用等达成一致。

三. 法律建议

1. 审查合同：首先，建议双方仔细审查买卖合同中的相关条款，明确各自的权利和义务。
2. 积极沟通：在发生拒付后，双方应积极沟通，寻求解决方案。可以尝试通过协商达成一致，避免不必要的法律纠纷。
3. 法律救济：如果协商无果，买方或卖方可以根据合同约定或法律规定，向法院提起诉讼或申请仲裁，以维护自己的合法权益。

我建议，在处理信用证拒付及货物退回问题时，应充分考虑买卖合同的具体约定和双方的实际利益，通过协商和沟通寻求最佳解决方案。如有进一步需要，您可以继续咨询我。