结论前置：在起诉离婚的过程中，若能证明配偶擅自将夫妻共同财产赠与“小三”，且该赠与行为违背公序良俗，无过错方是有权通过法律途径追回这部分财产的。以下是对此问题的详细分析：
一、法律依据及原理
夫妻共同财产保护：
- 根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的财产，一般属于夫妻共同财产，双方对共同财产有平等的处理权。
- 一方未经另一方同意，擅自处分共同财产，特别是将财产赠与“小三”，侵犯了另一方的平等处分权，该赠与行为可能被视为无效。
公序良俗原则：
- 根据《中华人民共和国民法典》第八条，民事主体从事民事活动不得违反法律，不得违背公序良俗。
- 婚姻关系中，一方擅自将夫妻共同财产赠与第三者，显然违反了公序良俗原则，因此该赠与行为无效。
二、追回财产的条件与证据
证明赠与行为的存在：
- 需要提供转账记录、聊天记录、照片或视频等证据，证明配偶与“小三”之间存在赠与行为。
证明赠与财产属于夫妻共同财产：
- 需要提供结婚证、财产清单、银行流水等证明材料，证明被赠与的财产是在婚姻关系存续期间所得，属于夫妻共同财产。
证明赠与行为违背公序良俗：
- 这通常需要通过聊天记录、证人证言等证据来证明“小三”明知对方有配偶而与之保持不正当关系，并因此获得了财产利益。
三、司法实践流程
收集证据：
- 全面收集上述所需的各类证据，确保证据的真实性、合法性和关联性。
提起诉讼：
- 在起诉离婚的同时，以自己的名义向有管辖权的法院提起民事诉讼，要求确认配偶的赠与行为无效，并要求“小三”返还相应的财产。
法院审理：
- 法院将对案件进行审理，审查证据的真实性、合法性和关联性。如果法院认定赠与行为无效，将判决“小三”返还财产。
判决执行：
- 如法院判决“小三”返还财产，但对方拒不执行，可申请法院强制执行。
四、可能面临的挑战与注意事项
证据难以获取：
- 赠与行为通常隐蔽，“小三”可能掩盖或销毁证据。因此，在收集证据时需要谨慎且全面。
财产性质与去向：
- 若财产已被消费或处置，追回可能面临困难。此外，如果财产在赠与后发生了混合、增值等情况，也会增加追回的复杂性。
地区差异：
- 不同地区的法院在具体认定标准和处理方式上可能存在差异。因此，在提起诉讼前，最好先了解当地法院的司法实践。
精神损害赔偿：
- 若配偶的出轨行为造成精神损害，可在离婚时提出精神损害赔偿请求。但这与追回财产是两个独立的法律诉求，需要分别主张。
举例说明：假设男方在婚姻存续期间未经妻子同意，多次向“小三”转账共计50万元用于其生活开销和购买奢侈品。妻子发现后，收集了转账记录、聊天记录等证据，证明男方与“小三”之间存在赠与行为，且该50万元属于夫妻共同财产。在起诉离婚的同时，妻子向法院提起民事诉讼，要求确认男方的赠与行为无效，并要求“小三”返还这50万元。法院经审理认为，该50万元属于夫妻共同财产，男方的赠与行为未经妻子同意，侵犯了妻子的财产权益，且违背了公序良俗原则，最终判决“小三”返还这50万元。
综上所述，起诉离婚时追回给“小三”的钱是可行的，但需满足一定条件并克服多重挑战。如果你面临类似情况，有问题可以直接向我咨询，我会根据你的具体情况提供进一步的法律建议。