三年前的出轨行为，在一般情况下，并不能直接导致财产的退回，但具体是否能够追回财产，需结合财产性质、赠与情况及法律时效等多方面因素综合判断。以下从不同角度为您详细分析：
一、出轨行为与财产退回的直接关联性
出轨行为本身，并不直接构成法律上要求退回财产的理由。法律对于财产的处理，主要依据的是财产的性质、来源以及是否存在法律上的无效或可撤销情形。出轨，作为道德层面的行为，虽然可能对婚姻关系造成严重影响，但并不直接决定财产的归属或是否需要退回。
二、可能涉及财产退回的情形
夫妻共同财产的无权处分：
- 如果出轨方在婚姻关系存续期间，未经另一方同意，擅自将夫妻共同财产赠与给第三者，这种行为可能构成无权处分。
- 根据《中华人民共和国民法典》的相关规定，无权处分人处分他人财产，经权利人追认或者无处分权的人订立合同后取得处分权的，该合同有效；否则，合同无效。因此，在这种情况下，受损方有权要求第三者返还财产。
赠与合同的撤销：
- 如果出轨方与第三者之间存在赠与合同，且该赠与合同具有救灾、扶贫等社会公益、道德义务性质或者经过公证的赠与合同，则赠与合同不可撤销。
- 但对于一般的赠与合同，如果赠与财产的权利尚未转移，赠与人可以撤销赠与；如果权利已经转移，但在符合法定情形下（如严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），赠与人也可以撤销赠与并要求返还财产。不过，出轨行为本身并不直接构成撤销赠与的法定理由。
法律时效的考虑：
- 需要注意的是，法律对于请求返还财产等权利通常设有一定的时效期限。如果自知道或应当知道权利受到损害之日起超过法定期限（一般为三年），则可能丧失胜诉权。但具体时效期限可能因地区、案件类型等因素而有所不同，且存在中断、中止等情形。因此，在考虑是否要求退回财产时，需要关注法律时效的问题。不过，就您提出的问题而言，三年前的出轨行为本身并不直接决定是否已超过法律时效，因为时效的起算点可能与权利受到损害的具体时间、知道或应当知道权利受到损害的时间等因素有关。
三、实际操作中的建议
收集证据：
- 如果您认为出轨方存在无权处分夫妻共同财产或需要撤销赠与合同等情形，并希望追回财产，首先需要收集相关证据。这些证据可能包括转账记录、赠与合同、出轨方的自认等。
咨询专业律师：
- 由于法律问题的复杂性和专业性，建议您在采取行动前咨询专业律师。律师可以根据您的具体情况，提供针对性的法律建议和操作方案。不过在这里，您可以放心向我咨询，我会尽我所能为您提供帮助。
考虑婚姻关系的整体处理：
- 出轨行为往往对婚姻关系造成严重影响。在考虑是否要求退回财产的同时，您也需要考虑婚姻关系的整体处理，包括是否继续维持婚姻关系、如何分割夫妻共同财产、子女抚养问题等。
最后需要强调的是，每个案件的具体情况都有所不同，法律问题的处理也需要根据具体情况进行具体分析。因此，如果您面临类似的问题，建议尽快咨询专业律师（当然，也可以直接向我提问），以便得到更准确、更全面的法律建议。