针对您提出的问题“男人出轨对方老婆起诉我退钱怎么办”，以下是我为您提供的详细解答：
首先，从法律角度来看，婚姻过错方（即出轨的男方）通常需要向无过错方（即男方的妻子）承担赔偿责任，而第三者（即您）并非婚姻关系的当事人，因此一般不承担直接的婚姻过错赔偿责任。这意味着，如果仅仅是因为男方出轨，男方的妻子起诉您要求退钱，这样的诉求在法律上通常难以获得支持。
然而，如果情况涉及到不正当的经济往来，比如男方在婚姻期间给您大额钱财，并且这种行为损害了男方的妻子的权益，那么情况就有所不同。在这种情况下，男方的妻子有权收集相关的转账记录等证据，以不当得利为由起诉您，要求您返还这些钱财。
面对这样的情况，您应该：
保持冷静并寻求法律帮助：首先，不要慌张，保持冷静。然后尽快咨询专业的法律人士，了解您的法律权益和可能面临的法律责任。
收集证据：如果您确实没有不当得利，或者认为男方的妻子提出的诉求不合理，那么您应该积极收集证据来支持自己的立场。这些证据可能包括您与男方的交往记录、经济往来的凭证等。
应诉准备：如果男方的妻子真的提起诉讼，您需要做好应诉的准备。这包括了解诉讼程序、准备答辩材料、寻找合适的律师代理等。
尊重法律判决：无论最终结果如何，您都需要尊重法律的判决。如果法院认定您存在不当得利，那么您可能需要返还相应的钱财。如果法院认为男方的妻子的诉求不合理，那么您也需要遵守法院的判决，不得进行不当的反击或报复。
总之，面对这种情况，最重要的是保持冷静、理性应对，并尽快寻求专业的法律帮助。通过合理的法律程序来解决问题，是保护您自身权益的最佳方式。