结论：是否需要归还男女关系期间对方给的钱，在他死亡后其子女要求归还，这主要取决于款项的性质以及是否存在有效的法律约定或证据。以下从不同情况进行分析：

1. 赠与性质：

   • 如果这些钱是对方在生前明确表示为赠与给你的，并且没有附加任何条件（如要求你履行某种义务或作为某种交换），那么这些钱就属于你的个人财产。在这种情况下，即使对方死亡，其子女也无权要求你归还这些钱。
   • 法律依据：根据《中华人民共和国民法典》中关于赠与合同的规定，赠与人在赠与财产的权利转移之前可以撤销赠与，但经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同除外。一旦赠与完成，赠与人或其继承人通常无权要求返还。

2. 借款性质：

   • 如果这些钱是对方借给你的，并且你们之间有明确的借款协议或证据（如借条、转账记录等），那么这些钱就属于你的债务。在对方死亡后，其子女作为继承人，有权要求你归还这些借款。
   • 法律依据：根据《中华人民共和国民法典》中关于继承的规定，继承人继承遗产应当清偿被继承人依法应当缴纳的税款和债务，缴纳税款和清偿债务以他的遗产实际价值为限。

3. 无明确约定或证据：

   • 如果你们之间没有明确的赠与协议、借款协议或其他相关证据，那么款项的性质就可能变得模糊。在这种情况下，如果对方子女要求你归还这些钱，你可能需要提供证据来证明这些钱是赠与给你的，而不是借款或其他性质的款项。
   • 建议：在这种情况下，建议你收集所有可能的证据（如聊天记录、转账记录、证人证言等），以证明款项的性质。如果无法提供充分证据，你可能需要面临一定的法律风险。

4. 特殊情况：

   • 如果对方在生前与你存在同居关系，并且这些钱是用于共同生活的开支，那么情况可能会更加复杂。在这种情况下，你可能需要证明这些钱是用于共同生活的必要开支，而不是你个人的财产。
   • 法律依据与考量：虽然同居关系本身不受法律保护，但共同生活的开支可能涉及共同财产或共同债务的问题。这需要根据具体情况和当地法律实践进行判断。

行动建议：

• 如果你面临对方子女要求归还钱款的情况，首先尝试与对方子女进行沟通，了解他们的具体要求和依据。
• 如果沟通无果，或者你认为对方的要求没有法律依据，建议你咨询专业律师（即向我咨询），以便更好地了解你的权利和义务，并制定合适的应对策略。
• 在处理此类纠纷时，保持冷静和理性至关重要。避免采取过激行为或言语攻击，以免加剧矛盾或引发不必要的法律风险。