结论：邻居现在想要回之前在交公粮时期分给您家的土地，是否合法，这主要取决于土地分配的具体情况、相关法律规定以及是否存在有效的土地分配协议或证据。以下从几个角度进行分析：
一、土地分配的历史背景与合法性
历史背景：在交公粮时期，农村土地分配可能受到当时政策、集体决策或家庭协商等多种因素的影响。如果邻居当时明确表示不愿要地，且土地被合法分配给您家，那么这一分配行为在当时是具有合法性的。
合法性依据：土地分配的合法性通常基于当时的法律法规、政策以及集体或家庭的决策。如果分配过程符合这些规定，且没有违反法律强制性规定，那么分配结果就是有效的。
二、土地权属的确认
土地权属证书：土地权属的确认通常依赖于土地权属证书，如宅基地使用证、土地承包经营权证等。如果您家持有有效的土地权属证书，且证书上明确记载了土地的使用权或所有权归您家所有，那么邻居想要回土地就缺乏法律依据。
证据收集：如果缺乏土地权属证书，那么需要收集其他证据来证明土地的分配情况，如当时的分配协议、集体决策记录、证人证言等。这些证据将有助于确认土地的权属。
三、邻居主张权利的合法性
主张权利的基础：邻居想要回土地，必须基于合法的权利主张。如果邻居无法提供有效的证据证明其对土地拥有合法的使用权或所有权，或者无法证明土地分配过程存在违法或不当行为，那么其主张就缺乏合法性。
时效问题：即使邻居曾经对土地拥有某种权利，但如果长时间未行使该权利，且没有合理的理由解释为何未行使，那么其权利可能因时效问题而丧失。在中国法律中，存在诉讼时效的规定，超过一定期限未行使权利，可能面临权利丧失的风险。
四、建议与措施
协商解决：首先，建议您与邻居进行友好协商，尝试达成和解。在协商过程中，可以展示土地权属证书或其他相关证据，以证明土地的合法分配情况。
第三方调解：如果协商无果，可以邀请村委会、人民调解委员会等第三方进行调解。这些机构具有中立性和权威性，有助于促成双方达成调解协议。
法律途径：如果上述方式均无法解决问题，您可以考虑通过法律途径维护自己的权益。可以向法院提起诉讼，请求确认土地的权属或驳回邻居的诉讼请求。在诉讼过程中，需要提供充分的证据来支持自己的主张。
最后，需要强调的是，土地权属问题涉及复杂的法律关系和历史背景，因此在处理此类问题时需要谨慎对待。如果您对土地权属问题存在疑问或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况提供专业的法律意见和帮助。