您目前继续使用该集体土地的行为，从法律层面来看，并不合法。以下是对此问题的详细分析：
一、集体土地的使用权归属
集体土地属于农民集体所有，个人对集体土地仅享有使用权，且这种使用权具有特定性和人身依附性，不得随意转让或买卖。根据《中华人民共和国土地管理法》的相关规定，宅基地和自留地、自留山，均属于农民集体所有，个人无权私自处置。
二、您使用行为的法律性质
无权使用：您提到邻居之前使用了该土地，但之后不再使用，您便开始使用。然而，这并不意味着您就获得了该土地的使用权。除非您通过合法途径（如与集体经济组织签订使用协议）获得了使用权，否则您的使用行为属于无权使用。
可能构成侵权：如果邻居或集体经济组织对您使用该土地的行为提出异议，并证明您未经允许使用了属于他们的土地，那么您的行为可能构成对邻居或集体经济组织土地使用权的侵权。
三、可能的法律后果
返还土地：如果您的使用行为被认定为无权使用或侵权，那么您可能需要返还该土地给合法的权利人（如邻居或集体经济组织）。
赔偿损失：如果您的使用行为给邻居或集体经济组织造成了损失（如土地被破坏、无法正常使用等），那么您可能需要承担赔偿责任。
行政处罚：根据《中华人民共和国土地管理法》的相关规定，非法占用土地或未经批准擅自改变土地用途的，可能面临行政处罚，如罚款、限期拆除等。
四、建议与合法途径
停止使用：鉴于您目前的使用行为可能存在法律风险，建议您立即停止使用该土地，以避免可能的法律纠纷和损失。
协商解决：您可以尝试与邻居或集体经济组织进行协商，看是否能够达成一致意见，如签订使用协议、支付使用费等。但请注意，任何协议都必须符合法律法规的规定。
合法申请：如果您确实需要使用该土地，建议您向当地集体经济组织或相关部门提出合法申请，按照规定的程序和要求办理相关手续。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，为您提供更详细、更专业的法律建议。