结论：双方有家庭给的钱不退是否合理，需根据具体情况判断，包括钱的性质、用途、双方约定以及法律规定等因素。以下从不同角度进行分析：
钱的性质与用途：
- 赠与性质：如果这笔钱是家庭成员之间的赠与，且赠与行为已经完成（即钱已经交付给受赠人），那么根据《中华人民共和国民法典》中关于赠与合同的规定，赠与人在赠与财产的权利转移之后，一般不得撤销赠与。因此，在这种情况下，受赠人没有义务退还这笔钱，不退是合理的。
- 借款性质：如果这笔钱是借款，那么双方之间就形成了借贷关系。根据《中华人民共和国民法典》中关于借款合同的规定，借款人应当按照约定的期限返还借款。如果借款人未按照约定返还借款，出借人有权要求借款人返还。因此，在这种情况下，如果双方有家庭给的钱是借款且未约定为赠与，那么不退是不合理的，出借人有权要求返还。
双方约定：
- 如果双方在给钱时或之后有明确的约定，比如约定这笔钱是用于特定目的（如购房、教育等），且在使用后需要退还，或者约定在一定条件下需要退还，那么双方应当遵守这个约定。如果一方违反约定不退还钱款，那么另一方有权要求其按照约定退还。
法律规定与特殊情况：
- 婚姻关系中的财产处理：如果这笔钱涉及婚姻关系中的财产处理，比如夫妻一方父母给的钱是作为对夫妻双方的赠与，那么根据《中华人民共和国民法典》中关于婚姻家庭编的规定，这笔钱可能被视为夫妻共同财产。在离婚时，如果双方没有约定或者约定不明确，那么这笔钱可能需要按照夫妻共同财产的原则进行分割。但这并不直接涉及是否需要“退还”给原家庭的问题，而是涉及夫妻之间的财产分配。
- 特殊情况下的撤销赠与：虽然赠与合同一般不得撤销，但在某些特殊情况下，如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等，赠与人可以撤销赠与并要求受赠人返还财产。
建议：
- 如果双方对这笔钱的性质、用途或是否需要退还存在争议，建议首先通过协商解决。协商时，可以明确钱的性质、用途以及双方的权利义务，以达成共识。
- 如果协商不成，可以考虑通过法律途径解决。在提起诉讼或申请仲裁前，建议收集相关证据（如转账记录、聊天记录、书面协议等）以支持自己的主张。
- 在处理涉及家庭财产的问题时，建议保持冷静和理性，避免因为情绪激动而做出不理智的决定。同时，也要尊重法律和事实，不要试图通过不正当手段来获取利益。
后续行动：
- 如果你需要更具体的法律建议或帮助，可以直接向我咨询。我会根据你的具体情况和需求，为你提供更详细和专业的法律意见。