结论概述：对方有家庭的情况下，他给你的钱是否能要回去，主要取决于款项的性质、赠送时的意图以及是否存在欺骗等情形。以下从不同角度进行详细分析：
赠与性质：
- 一般赠与：如果对方给你的钱是基于恋爱关系中的自愿赠与，且没有明确的借贷约定或结婚目的，通常被视为无条件赠与。这种情况下，一旦款项交付，所有权即转移，对方一般无法要求返还。例如，情人节、生日等特殊节日的红包、小礼物等，通常被认定为表达爱意的赠与行为。
- 附条件赠与：如果赠与是附条件的，比如以结婚为目的的大额赠与，且最终未能结婚，那么根据《中华人民共和国民法典》的相关规定，受赠人可能需要返还赠与的财产。
借贷性质：
- 如果有明确的借贷证据，如借条、转账记录中备注为借款等，那么无论对方是否有家庭，你都可以主张借贷关系，要求对方返还。借贷关系一旦成立，就受法律保护，对方必须履行还款义务。
不当得利：
- 如果对方隐瞒已婚事实与你交往，并因此获得经济利益（如接受你的大额转账、贵重礼物等），可能构成不当得利。根据《中华人民共和国民法典》的相关规定，受损失的人（即你）有权请求其返还不当利益。
特殊情形下的法律后果：
- 如果对方以非法占有为目的，通过虚构单身身份等方式骗取你的财物，且数额较大，可能涉嫌诈骗罪。此时，你可以向公安机关报案，追究其刑事责任，并要求返还被骗取的财物。
法律建议：
- 保留证据：无论款项性质如何，都建议你保留好转账记录、聊天记录、赠与凭证等相关证据，以备不时之需。
- 协商解决：如果可能的话，尝试与对方进行协商，看是否能达成一个双方都能接受的解决方案。
- 法律途径：如果协商无果，且你认为自己有权要求返还款项，可以考虑通过法律途径解决。在提起诉讼前，建议你先咨询专业律师，了解具体的法律程序和可能的结果。
后续行动建议：
- 如果你对款项的性质或对方的意图存在疑问，或者担心自己的权益受到侵害，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。
- 在处理此类问题时，请务必保持冷静和理性，避免采取过激或违法的行为来维护自己的权益。
希望以上分析能对你有所帮助。如果你有任何其他问题或需要进一步的法律咨询，请随时向我提问。