结论：出轨方赠与第三者的财物，家属能否要回需分情况讨论，主要取决于赠与财物的性质、金额以及是否违背公序良俗等因素。以下为具体分析：
若赠与财物属于夫妻共同财产：
- 法律依据：根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的财产，为夫妻的共同财产，归夫妻共同所有，夫妻对共同财产有平等的处理权。出轨方擅自将夫妻共同财产赠与第三者，属于无权处分行为。
- 家属权利：家属（即出轨方的配偶）有权要求第三者返还财物。因为出轨方的赠与行为不仅侵犯了配偶的财产权益，也违背了公序良俗。配偶可以通过法律途径，如起诉第三者，要求返还财物。
若赠与财物属于出轨方个人财产：
- 法律依据：根据《中华人民共和国民法典》的相关规定，个人财产归个人所有，个人有权处分自己的财产。
- 家属权利：在这种情况下，家属通常无权直接要求第三者返还财物。因为出轨方使用的是自己的个人财产进行赠与，没有侵犯配偶的财产权益。但是，如果出轨方的赠与行为严重损害了家庭利益，或者存在其他违法行为（如诈骗等），家属可以考虑通过其他法律途径维护自身权益。
特殊情况考虑：
- 赠与金额与目的：如果赠与的金额巨大，或者赠与的目的明显违背公序良俗（如为了维持不正当关系等），法院在判决时可能会倾向于保护家属的权益，要求第三者返还部分或全部财物。
- 第三者是否知情：如果第三者明知出轨方已婚仍接受赠与，或者与出轨方串通损害家属权益，法院在判决时也可能会考虑这一因素，对第三者作出不利的判决。