结论：儿子能否要回被爸爸退给小队的土地，取决于多个因素，包括土地的性质、退地行为是否合法有效、儿子是否对该土地享有合法权益等。以下从不同角度进行分析：
一、土地性质与权属
农村土地承包经营权：
- 如果该土地是农村承包地，且儿子作为家庭成员之一，原本享有该土地的承包经营权，那么爸爸未经儿子同意擅自退地可能构成侵权。
- 在这种情况下，儿子有权要求爸爸恢复土地的承包经营权，或者要求赔偿因此造成的损失。
宅基地使用权：
- 如果该土地是宅基地，且儿子是宅基地的合法使用者或继承人，那么爸爸同样无权擅自退地。
- 儿子可以依据宅基地使用权的相关规定，要求爸爸停止侵权行为，并恢复宅基地的原状或赔偿损失。
二、退地行为的合法性与有效性
合法退地：
- 如果爸爸退地行为是经过合法程序，比如与小队协商一致并签订了退地协议，且该协议不违反法律法规的强制性规定，那么退地行为可能是合法有效的。
- 但即便如此，如果儿子对该土地享有合法权益，爸爸仍需在退地前征得儿子的同意或妥善处理儿子的权益问题。
非法退地：
- 如果爸爸退地行为未经合法程序，或者违反了法律法规的强制性规定，那么该退地行为可能是非法无效的。
- 在这种情况下，儿子有权要求撤销退地行为，并恢复土地的原状或赔偿损失。
三、儿子对土地的合法权益
继承权：
- 如果儿子是土地的合法继承人，那么爸爸无权擅自处分该土地。
- 儿子可以依据继承法的相关规定，要求爸爸停止侵权行为，并恢复土地的原状或赔偿损失。
共有权：
- 如果儿子与爸爸是土地的共有人，那么爸爸在处分土地时需征得儿子的同意。
- 未经儿子同意擅自退地，可能构成对儿子共有权的侵害，儿子有权要求赔偿。
四、建议与措施
协商解决：
- 建议儿子先与爸爸进行协商，了解退地的具体原因和背景，尝试通过友好方式解决问题。
法律途径：
- 如果协商无果，儿子可以咨询专业律师（即我，陈亚杰律师，专注于婚姻家庭、离婚领域），了解自己的法律权益和可能的救济途径。
- 根据具体情况，儿子可以选择提起民事诉讼，要求爸爸停止侵权行为、恢复土地原状或赔偿损失。
收集证据：
- 在采取法律行动前，儿子应尽可能收集与土地权属、退地行为相关的证据，如土地承包合同、宅基地使用证、退地协议等。
- 这些证据将有助于儿子在法律程序中维护自己的权益。
后续思考依据：在处理此类土地纠纷时，关键在于明确土地的性质、权属以及退地行为的合法性与有效性。同时，儿子对土地的合法权益也是决定能否要回土地的重要因素。因此，在采取行动前，儿子应充分了解自己的法律权益和可能的救济途径，并咨询专业律师以获取更具体的法律建议。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。