结论：对方要求退还货款是否违法，需根据具体情况判断，包括合同约定、货物质量、双方协商及法律规定等因素。以下从不同角度进行分析：

一、合同约定角度

1. 合同有明确约定：

   • 若货物买卖合同中明确约定了退货退款的条件和流程，且对方要求退还货款的情况符合合同约定，则对方的要求是合法的。例如，合同中约定“若货物存在质量问题，买方有权在收到货物后7日内要求退货退款”，在此情况下，若货物确实存在质量问题，且买方在约定时间内提出退货退款要求，则卖方应履行退款义务。

2. 合同无明确约定：

   • 若合同中未明确约定退货退款的条件和流程，或约定不明确，则对方要求退还货款是否合法需根据其他因素判断。此时，双方应首先尝试协商解决，若协商不成，可依据相关法律规定或行业惯例进行处理。

二、货物质量角度

1. 货物存在质量问题：

   • 根据《中华人民共和国民法典》的相关规定，若货物存在质量问题，影响买方正常使用或合同目的的实现，买方有权要求退货退款。在此情况下，对方要求退还货款是合法的，且卖方应承担相应的违约责任。

2. 货物无质量问题：

   • 若货物无质量问题，且买方无正当理由要求退货退款，则卖方有权拒绝。此时，对方要求退还货款可能构成违约或不当得利，卖方可以依法维护自己的权益。

三、双方协商角度

• 无论合同是否有明确约定或货物是否存在质量问题，双方均可通过协商解决退货退款问题。若双方能够达成一致意见，则按照协商结果处理即可。协商是解决合同纠纷的一种有效方式，可以节省时间和成本，避免不必要的法律纠纷。

四、法律规定角度

• 除了合同约定和货物质量外，还需考虑相关法律规定。例如，《中华人民共和国消费者权益保护法》规定了消费者的退货退款权利，但该法主要适用于消费者与经营者之间的交易。在货物买卖合同纠纷中，若买方为消费者，且符合该法规定的退货退款条件，则买方有权要求退货退款。然而，若买方非消费者或不符合该法规定的条件，则需依据其他法律规定或合同约定处理。

法律建议：

• 在处理此类纠纷时，建议首先查阅货物买卖合同中的相关条款，了解双方的权利和义务。
• 若合同中有明确约定，则按照合同约定处理；若合同无明确约定或约定不明确，则尝试与对方协商解决。
• 若协商不成或对方要求不合理，可咨询专业律师（即向我咨询），了解相关法律规定和行业惯例，以便更好地维护自己的权益。
• 在处理纠纷过程中，注意保留相关证据，如合同、货物质量证明、沟通记录等，以便在需要时提供证明。