追回“小三”财产并不一定要起诉离婚，这主要取决于财产的性质、来源以及您的具体诉求。以下是从不同角度对这一问题的详细分析：
一、财产性质与来源
夫妻共同财产：
- 如果“小三”所获得的财产属于您和配偶的夫妻共同财产，比如配偶在婚姻关系存续期间擅自将共同财产赠与“小三”，那么您有权要求“小三”返还这些财产。
- 在这种情况下，您可以通过提起民事诉讼（不一定是离婚诉讼）来主张自己的权益，要求确认赠与行为无效，并返还财产。
配偶个人财产：
- 如果“小三”所获得的财产是配偶的个人财产，比如配偶在婚前或婚后通过继承、赠与等方式获得的财产，并且这些财产并未转化为夫妻共同财产，那么情况就会相对复杂。
- 在这种情况下，您要追回财产可能会面临更大的法律障碍，因为配偶有权自由处分自己的个人财产。但是，如果配偶的赠与行为违反了公序良俗或法律法规，您仍然有可能通过法律途径来维护自己的权益。
二、具体诉求与法律途径
仅要求返还财产：
- 如果您的主要诉求是追回被“小三”占有的财产，而并不打算离婚，那么您可以选择提起确认赠与合同无效之诉或返还财产之诉。
- 在这类诉讼中，您需要提供充分的证据证明赠与行为的存在、财产的性质和来源以及您作为合法配偶的权益。
同时要求离婚并分割财产：
- 如果您不仅想要追回财产，还打算与配偶离婚，并分割夫妻共同财产，那么您可以在提起离婚诉讼的同时，要求法院对夫妻共同财产进行分割，并确认配偶赠与“小三”财产的行为无效。
- 在这种情况下，法院会综合考虑夫妻双方的财产状况、婚姻期间的贡献、过错程度等因素来做出判决。
三、法律建议与注意事项
收集证据：
- 无论您选择哪种法律途径，收集充分的证据都是至关重要的。这包括但不限于转账记录、聊天记录、赠与合同、财产证明等。
- 证据的充分性和合法性将直接影响您的诉求能否得到法院的支持。
咨询专业律师：
- 在处理这类复杂法律问题时，咨询专业律师是非常必要的。律师可以根据您的具体情况提供针对性的法律建议，并帮助您制定合适的诉讼策略。
- 作为专注于婚姻家庭领域的律师，我可以为您提供专业的法律咨询和代理服务。
注意诉讼时效：
- 根据《中华人民共和国民法典》的相关规定，民事权利的诉讼时效期间一般为三年。因此，您需要在知道或应当知道自己的权益受到侵害之日起三年内提起诉讼。
保持冷静与理性：
- 在处理这类情感与法律交织的问题时，保持冷静与理性至关重要。避免采取过激行为或言语攻击，以免加剧矛盾或影响诉讼结果。
总结来说，追回“小三”财产并不一定要起诉离婚。您可以根据自己的具体情况和诉求选择合适的法律途径来维护自己的权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。