结论：在双方都是违法情况下交易，能否起诉对方退回货款，需根据具体情况判断，一般而言，若交易行为因违法而无效，且货款尚未交付或存在可返还情形，可以起诉要求退回货款；但若货款已交付且无法返还，或存在其他特殊情形，则可能无法退回或需承担相应法律责任。以下从不同角度进行详细分析：

一、交易行为违法性的认定

1. 违法交易的定义：违法交易通常指的是违反法律、行政法规的强制性规定或公序良俗的交易行为。在货物买卖合同中，若交易标的物为法律禁止流通的物品（如毒品、枪支等），或交易方式违反法律（如走私、偷税漏税等），则构成违法交易。

2. 违法交易的后果：根据《中华人民共和国民法典》的相关规定，违反法律、行政法规的强制性规定的民事法律行为无效，但是该强制性规定不导致该民事法律行为无效的除外。违背公序良俗的民事法律行为无效。因此，若货物买卖合同因违法而无效，则双方基于该合同所取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。

二、货款退回的可能性分析

1. 货款尚未交付的情形：若货款尚未交付给对方，且交易行为因违法而被认定无效，则出卖方无权要求买受方支付货款，买受方也无义务支付。在此情形下，若买受方已预付部分货款，出卖方应返还该部分货款。

2. 货款已交付的情形：

   • 可返还情形：若货款已交付给对方，但交易行为因违法而被认定无效，且货物尚未交付或可返还，则买受方有权要求出卖方返还货款。出卖方在返还货款的同时，若货物已交付，也应返还货物或折价补偿。
   • 不可返还情形：若货款已交付，且货物已消耗或无法返还（如易腐易烂的食品、已使用的设备等），则买受方可能无法要求出卖方全额返还货款。在此情形下，法院可能会根据双方的过错程度、交易的具体情况等因素，判决出卖方返还部分货款或承担其他法律责任。

3. 特殊情形：若双方均明知交易行为违法，且存在恶意串通、损害国家、集体或第三人利益的情形，则双方可能不仅无法要求退回货款，还可能面临行政处罚或刑事责任。

三、法律建议

1. 收集证据：若您认为交易行为违法，且希望退回货款，应首先收集相关证据，如交易合同、付款凭证、货物交付凭证等，以证明交易行为的存在及违法性。

2. 咨询律师：在起诉前，建议您咨询专业律师，对交易行为的违法性、货款退回的可能性及法律后果进行全面评估。律师将根据您的具体情况，为您提供专业的法律建议。

3. 提起诉讼：若经评估认为有必要提起诉讼，您应准备充分的诉讼材料，包括起诉状、证据清单等，并向有管辖权的人民法院提起诉讼。在诉讼过程中，您应积极配合法院的调查和审理工作，以维护自己的合法权益。

最后，需要强调的是，违法交易不仅可能导致货款无法退回，还可能面临行政处罚或刑事责任。因此，在进行货物买卖交易时，请务必遵守法律法规，确保交易行为的合法性。若您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。