针对您的情况，是否需要退还所有转账，不能一概而论，需要分情况讨论：
转账性质为赠与且未违反公序良俗：
- 如果转账是对方自愿赠与，且没有明确表明是借款或其他有偿性质，同时这种赠与行为并未违反社会公序良俗（即并非以维持不正当关系为目的的大额或频繁赠与），那么从法律角度讲，您可能无需退还。但需要注意的是，如果对方配偶能够证明这些转账是用夫妻共同财产进行的，且未经其同意，那么对方配偶有权要求您返还这部分财产，因为这侵犯了其财产权益。
转账性质为借款或存在其他有偿约定：
- 如果转账是对方以借款形式给您的，或者双方有明确的约定（如投资回报、购买特定物品等），那么您需要根据约定来履行还款或其他义务。在这种情况下，如果对方起诉要求返还，您可能需要按照约定或法律规定来退还相应款项。
转账涉及夫妻共同财产且未经配偶同意：
- 这是最为复杂且常见的情况。如果转账是用夫妻共同财产进行的，且未经对方配偶同意，那么对方配偶有权通过法律途径要求您返还这部分财产。因为根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，归夫妻共同所有，双方有平等的处理权。任何一方非因日常生活需要对夫妻共同财产做重要处理决定，应当平等协商，取得一致意见。
法律建议：
- 收集证据：首先，您需要收集所有与转账相关的证据，包括转账记录、聊天记录、赠与协议（如果有）等，以证明转账的性质和目的。
- 咨询专业意见：由于这种情况涉及复杂的法律关系和财产权益，我建议您尽快咨询专业律师，以便更准确地评估您的法律风险和义务。
- 考虑和解或调解：在诉讼前，您可以考虑与对方或对方配偶进行和解或调解，以达成双方都能接受的解决方案，避免长时间的法律纠纷。
可能的法律后果：
- 如果法院最终认定您需要退还转账，您可能需要按照法院判决来履行还款义务。
- 如果您拒绝履行法院判决，对方可以申请强制执行，这可能会对您的信用记录和日常生活产生负面影响。
总之，面对这种情况，您需要保持冷静，尽快收集证据并咨询专业律师，以便更好地维护自己的合法权益。如果您有任何进一步的法律问题或需要更具体的法律建议，请随时向我咨询。