结论前置：在特定情况下，“小三”确实需要返还财物，这主要取决于财物的性质、赠与行为的合法性以及是否存在可撤销的情形。以下是对此问题的详细分析：
一、财物为夫妻共同财产的情况
赠与行为无效：
- 根据我国《民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产一般属于夫妻共同财产，双方有平等的处理权。若一方未经另一方同意，擅自将夫妻共同财产赠与“小三”，该赠与行为通常被认定为无效，因为它违反了公序良俗及夫妻间的忠实义务。
- 在这种情况下，原配作为财产共有人，有权向法院起诉，要求“小三”返还受赠的财产。法院通常会支持此类诉求，以保护原配的合法权益。
实际操作建议：
- 若发现配偶擅自将夫妻共同财产赠与“小三”，应尽快收集证据，如银行转账记录、财产购买凭证、聊天记录等，以证明财物的来源和赠与行为的无效性。
- 及时向法院提起诉讼，要求“小三”返还财物，以避免财物被进一步消耗或转移。
二、财物为个人财产的情况
个人婚前财产赠与：
- 一方的婚前财产属于其个人财产，个人有独立处分权。若一方使用其个人婚前财产赠与“小三”，原配一般不能要求“小三”返还。
- 但若赠与行为存在其他可撤销情形，如重大误解、受欺诈、受胁迫等，赠与人可自行向法院请求撤销赠与，并要求“小三”返还财产。
特殊情况下赠与的无效性：
- 即使是用个人财产赠与，若赠与行为违反公序良俗，如为了维持不正当的男女关系而赠与，该赠与行为同样可能被认定为无效。
- 在此情况下，赠与人或原配（若涉及夫妻共同财产权益）有权要求“小三”返还财产，但需收集充分证据以支持主张。
三、难以要求返还的情况
无法证明财物为夫妻共同财产或个人财产：
- 若无法提供足够证据证明被“小三”占有的财物属于夫妻共同财产或个人财产，则要求返还的诉求可能难以得到法院支持。
赠与财物已消耗或无法返还：
- 如果赠与“小三”的财物已被消耗或在性质上无法原物返还，法院可能会根据具体情况判决“小三”给予相应的经济补偿。例如，对于已使用的易消耗生活用品，可能无法要求返还原物，但可根据实际情况要求经济补偿。
四、综合建议
- 明确财物性质：在涉及此类问题时，首先应明确赠与财物的性质，即是夫妻共同财产还是个人财产。
- 收集证据：无论财物性质如何，都应尽快收集相关证据，以证明赠与行为的无效性或可撤销性。
- 及时行动：发现财物被非法转移后，应尽快采取行动，以避免财物被进一步消耗或转移，增加追回难度。
最后，每个案件的具体情况都有所不同，因此在处理此类问题时，应综合考虑多方面因素，并寻求专业的法律帮助以确保自身权益得到妥善维护。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。