结论：是否需要归还对方的钱，取决于多个因素，包括你是否知道对方有家庭、钱的性质（是借款还是赠与）、以及是否存在其他特殊情况。以下是对这些因素的详细分析：

1. 是否知道对方有家庭：

   • 如果你在接受对方的钱时，并不知道对方已有家庭，且没有其他过错（如故意隐瞒或欺骗），那么从道德和法律的角度来看，你可能不需要承担全部或部分归还的责任，但这并非绝对，还需结合其他因素判断。
   • 如果你明知对方有家庭，仍然接受其钱财，特别是当这些钱财可能涉及对方家庭共同财产时，那么你可能需要承担归还的责任，因为这可能构成对对方家庭财产的侵害。

2. 钱的性质：

   • 借款：如果对方给你的钱是借款，并且你有明确的借款意思表示（如写了借条或口头约定了还款），那么无论你是否知道对方有家庭，你都有义务归还这笔借款。
   • 赠与：如果对方给你的钱是赠与，且没有附加任何条件（如要求你做某事或保持某种关系），那么一般情况下，你不需要归还这笔钱。但是，如果赠与的钱财数额巨大，且明显超出了对方日常消费水平，可能被视为对方家庭共同财产的无权处分，此时你可能需要承担一定的归还责任。特别是当对方家庭成员对此提出异议时，法律可能会倾向于保护家庭共同财产的权益。

3. 其他特殊情况：

   • 如果对方给你的钱涉及违法犯罪活动（如赌博、贩毒等），那么无论你是否知道对方有家庭，你都必须归还这笔钱，并且可能面临法律制裁。
   • 如果对方给你的钱是其个人财产，且其家庭成员对此没有异议，或者对方家庭成员明确表示放弃追索权，那么你可能不需要归还这笔钱。

法律建议：

• 如果你不确定是否需要归还对方的钱，或者对方家庭成员已经对此提出异议，我建议你尽快咨询专业律师，以便更准确地了解你的法律义务和风险。
• 在处理此类问题时，务必保留好所有相关的证据（如转账记录、聊天记录、借条等），以便在需要时证明你的立场和权益。

可能法律后果：

• 如果你被认定需要归还对方的钱，但拒绝归还，对方可能会通过法律途径追索，包括起诉你至法院要求还款。
• 如果你的行为被认定构成对对方家庭财产的侵害，你可能还需要承担额外的法律责任，如赔偿损失等。

总之，是否需要归还对方的钱是一个复杂的问题，需要综合考虑多个因素。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。