结论：是否需要归还对方这么多年的钱，取决于款项的性质、用途以及是否存在合法有效的借贷关系等因素。若款项被认定为赠与且用于共同生活或子女抚养，则通常无需归还；若被认定为借贷，则可能需要归还。同时，您作为非婚同居关系中的一方，可能还需面对法律上的其他责任和风险。

一、款项性质与用途是关键

1. 赠与性质：如果对方在这么多年中给你的钱是出于赠与的目的，比如为了共同生活、抚养子女等，且没有明确的借贷合意，那么这些钱通常被视为赠与，你无需归还。但需要注意的是，如果赠与是以结婚为目的（即附条件的赠与），而最终未能结婚，对方可能有权要求返还。不过，在你的情况下，由于你们并未形成法律上的婚姻关系，这一点可能不适用。

2. 借贷性质：如果对方能够证明这些钱是借给你的，比如有借条、转账记录备注为借款等证据，那么你可能需要归还这些钱。但对方需要承担举证责任，证明双方存在借贷合意。

3. 共同生活或子女抚养费用：如果这些钱是用于你们共同生活或抚养子女的费用，那么即使对方现在要求归还，法院也可能不会支持。因为这些费用是你们共同生活或抚养子女的必要支出。

二、法律责任与风险

1. 非婚同居关系：你与对方之间属于非婚同居关系，不受法律保护。这意味着，在分手或对方前妻起诉的情况下，你可能无法像合法夫妻那样享有财产分割、继承等权利。

2. 子女抚养问题：你们有两个孩子，无论你们的关系如何，你都有义务抚养这些孩子。如果对方前妻起诉你要求归还钱款，并且涉及到子女的抚养问题，法院可能会考虑子女的利益，做出更合理的判决。

3. 可能面临的法律诉讼：对方前妻起诉你要求归还钱款，你需要积极应对法律诉讼。在诉讼过程中，你需要提供证据证明款项的性质和用途，以及你无需归还的理由。

三、建议与措施

1. 收集证据：尽快收集与款项性质、用途相关的证据，如转账记录、聊天记录、证人证言等。这些证据将有助于你在法律诉讼中维护自己的权益。

2. 咨询专业律师：虽然我作为吴涛律师已经给出了初步的分析和建议，但面对具体的法律诉讼，你还是需要咨询专业律师，以便更准确地了解自己的法律地位和权益，以及制定更有效的应对策略。

3. 考虑和解或调解：在法律诉讼之前或过程中，你可以考虑与对方或对方前妻进行和解或调解。通过协商达成一致意见，可以避免漫长的法律诉讼过程，减少双方的损失和矛盾。

最后，我建议你保持冷静和理性，积极面对这个问题。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。