结论：对方有家庭给你转账能否要回，需分情况讨论，主要取决于转账的性质以及对方配偶的态度和行动。以下是具体分析：
若转账被认定为借款：
- 如果对方能够提供充分的证据，如借条、转账时的备注说明是借款等，证明这笔转账是借款性质，那么对方及其配偶有权要求你返还这笔借款。因为借款属于夫妻共同财产的范畴（如果使用的是夫妻共同财产转账），对方配偶作为共同财产的所有者之一，有权追回属于她的部分或全部借款。
若转账被认定为赠与：
- 小额、日常性质的赠与：如果转账金额较小，且属于日常生活中的正常赠与行为，如节日红包、小礼物等，那么对方及其配偶通常难以要求返还。因为这种小额赠与一般被视为个人情感的表达，不涉及夫妻共同财产的重大处分。
- 大额、非日常性质的赠与：如果转账金额较大，且明显超出了日常生活的需要，如购房款、购车款等，那么对方配偶有可能以侵犯夫妻共同财产权为由，要求你返还这笔赠与。因为大额赠与可能被视为对夫妻共同财产的重大处分，需要夫妻双方共同同意。
若转账涉及不正当关系：
- 如果对方与你之间存在不正当关系，如婚外情等，并且转账是在这种关系存续期间进行的，那么对方配偶除了可以基于侵犯夫妻共同财产权要求返还外，还可能以道德层面的理由对你进行谴责。此外，如果对方配偶能够证明转账是为了维持这种不正当关系，法院在判决时也可能会考虑这一因素，对返还金额或方式作出相应调整。
建议：
- 如果你收到了来自有家庭的人的转账，并且担心未来可能产生纠纷，建议你及时与对方沟通，明确转账的性质和目的，并保留好相关证据，如转账记录、聊天记录等。
- 如果对方或其配偶已经向你提出了返还要求，并且你无法确定转账的性质或无法与对方达成一致意见，建议你寻求专业的法律帮助，以便更好地维护自己的合法权益。
在处理这类问题时，请务必保持冷静和理性，不要因为情绪化的反应而做出可能对自己不利的决定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。