结论：前夫的家人能否起诉要回给前妻的钱，需根据具体情况判断，主要包括款项性质、是否属于遗产范围以及是否存在法定撤销赠与的情形。以下从不同角度详细分析：

一、款项性质与赠与的合法性

1. 赠与性质：

   • 如果前夫在离婚后给予前妻的钱款明确为赠与，且赠与行为合法有效（即前夫具有完全民事行为能力，赠与意思表示真实，且不违反法律、行政法规的强制性规定或公序良俗），则该赠与行为受法律保护。
   • 在此情况下，前夫去世后，其家人一般无权要求前妻返还赠与的钱款，因为赠与财产已经转移至前妻名下，成为其个人财产。

2. 非赠与性质：

   • 如果前夫给予前妻的钱款并非赠与，而是基于其他法律关系（如借款、投资等），则前夫的家人可能需要根据具体法律关系来主张权利。
   • 例如，如果钱款是借款，且前夫去世后其遗产尚未分割，家人作为继承人可能有权要求前妻偿还借款（但需注意诉讼时效等问题）。

二、款项是否属于遗产范围

1. 属于遗产：

   • 如果前夫给予前妻的钱款在其去世时仍属于其个人财产（即未完成赠与或赠与被撤销），则该钱款可能构成其遗产的一部分。
   • 在此情况下，前夫的家人作为继承人，有权根据《中华人民共和国民法典》继承编的相关规定，要求分割遗产，包括要求前妻返还属于遗产的钱款（如果钱款仍在前妻处）。

2. 不属于遗产：

   • 如果钱款已经完成赠与，且不属于前夫去世时的个人财产，则该钱款不属于遗产范围。
   • 在此情况下，前夫的家人无权要求前妻返还钱款。

三、是否存在法定撤销赠与的情形

1. 法定撤销情形：

   • 根据《中华人民共和国民法典》第六百六十三条的规定，受赠人有下列情形之一的，赠与人可以撤销赠与：（一）严重侵害赠与人或者赠与人近亲属的合法权益；（二）对赠与人有扶养义务而不履行；（三）不履行赠与合同约定的义务。
   • 如果前妻存在上述情形之一，且前夫在去世前已经行使了撤销权（或其继承人在知道撤销事由后一定期限内行使撤销权），则前夫的家人可能有权要求前妻返还被撤销赠与的钱款。

2. 撤销权的行使期限：

   • 赠与人的撤销权，自知道或者应当知道撤销事由之日起一年内行使。
   • 因受赠人的违法行为致使赠与人死亡或者丧失民事行为能力的，赠与人的继承人或者法定代理人可以撤销赠与，且撤销权自知道或者应当知道撤销事由之日起六个月内行使。

四、其他特殊情况

• 如果前夫在赠与时附有条件或期限：

  • 如果赠与行为附有条件或期限，且条件未成就或期限未届至时前夫去世，则赠与的效力可能受到影响。
  • 在此情况下，前夫的家人可能需要根据具体条件或期限来主张权利。

• 如果前夫与前妻之间存在其他协议或约定：

  • 如果双方之间存在其他协议或约定（如离婚协议中关于财产分割的条款），且该协议或约定对钱款的归属有明确规定，则前夫的家人需根据协议或约定来主张权利。

建议：前夫的家人能否起诉要回给前妻的钱，需根据具体情况判断。如果涉及复杂的法律关系或争议，建议直接向我咨询，以便更准确地分析案情并提供法律建议。