结论：能否要回给儿子交的首付，需根据借条的具体约定、款项性质以及实际履行情况综合判断，以下分情况说明：

1. 若借条明确约定为借款，且符合民间借贷法律要件
   根据《民法典》第六百六十七条，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。若借条中明确载明：

   • 双方存在借贷合意（如“今借到父母XX元用于购房首付”）；
     
   • 约定了还款期限或利息（即使未约定利息，也可主张资金占用期间的合理利息）；
     
   • 款项已实际交付（如银行转账记录、收条等）。
     则父母作为出借人，有权要求儿子按约定返还借款。若儿子拒不还款，可通过诉讼主张权利，法院一般会支持返还本金及合理利息。

2. 若借条未明确约定或存在争议，可能被认定为赠与
   根据《民法典》第六百五十七条，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的合同。若：

   • 借条内容模糊（如仅写“收到父母XX元”未明确用途或还款义务）；
     
   • 父母未保留款项交付证据（如现金交付无收条）；
     
   • 儿子能证明款项性质为赠与（如父母曾表示“不用还”“给孙子买房”等）。
     则可能被认定为赠与关系，父母无权要求返还。但若赠与附条件（如“若儿子离婚则返还”），条件成就时可主张撤销赠与。

3. 若涉及夫妻共同财产，需区分儿子婚姻状态

   • 若儿子已婚：若首付款项来源于父母对儿子个人的赠与（如借条仅由儿子签字），且未明确表示赠与夫妻双方，则一般视为儿子个人债务，父母可要求儿子个人返还；若款项被认定为夫妻共同财产（如无借条或明确赠与双方），则需儿子及其配偶共同返还。
     
   • 若儿子未婚：仅需向儿子个人主张权利，与未来配偶无关。

建议：

1. 立即收集借条原件、转账记录、沟通记录（如微信、短信）等证据，证明借贷关系；
   
2. 若儿子拒不还款，可先协商补充书面协议明确还款义务，或直接向法院起诉；
   
3. 若涉及夫妻共同财产，建议同步起诉儿子配偶（需有证据证明款项用于夫妻共同生活）。
   

如有进一步细节（如借条具体内容、款项交付方式等），可随时向我咨询，我会结合证据为您制定具体方案。