关于您提出的“自留地给别人做了40年还能要回来吗”的问题，这涉及到土地使用权、物权保护以及可能存在的合同关系等多个法律层面。以下是我根据您的询问，结合相关法律知识给出的详细解答：

一、核心结论

能否要回自留地，主要取决于您与对方之间的法律关系、土地使用权的归属以及是否存在有效的合同或协议。若存在合法有效的转让或租赁合同，且合同期限尚未届满，您可能无法直接要回；若合同已到期或对方无权占有，您则有权要求返还。

二、具体分析

1. 土地使用权归属：

   • 自留地通常属于农村集体土地，其使用权由集体成员享有。若您作为集体成员，将自留地转让或出租给他人，需确保这一行为符合集体土地管理的相关规定。

2. 合同关系分析：

   • 存在合同：若您与对方签订了转让或租赁合同，且合同内容合法有效，那么双方应遵守合同约定。在合同期限内，您通常无法单方面要求返还土地。
   • 合同到期：若合同已到期，且对方未续签或未获得新的使用权，您有权要求对方返还土地。
   • 合同无效或可撤销：若合同存在无效或可撤销的情形（如违反法律法规、欺诈、胁迫等），您可能通过法律途径主张合同无效或撤销，进而要求返还土地。

3. 物权保护：

   • 若对方无权占有您的自留地（如合同无效、未签订合同等），您有权依据《物权法》等相关法律法规，要求对方停止侵害、排除妨碍、返还财产，并可能获得相应的损害赔偿。

4. 诉讼时效考虑：

   • 请注意，物权保护请求权等可能受到诉讼时效的限制。若您长时间未主张权利，可能面临诉讼时效届满的风险。因此，建议及时咨询专业律师并采取法律行动。

三、建议与行动

• 查看合同：首先，建议您查阅与对方签订的合同或协议，明确双方的权利义务以及合同期限等关键条款。
• 咨询律师：若合同内容复杂或存在争议，建议咨询专业律师进行法律分析和风险评估。
• 采取法律行动：根据合同情况和律师建议，您可以考虑通过协商、诉讼等方式要求对方返还土地或维护您的合法权益。

综上所述，能否要回自留地需根据具体情况而定。建议您尽快梳理相关证据和合同资料，并咨询专业律师以获取更具体的法律建议和行动方案。