关于单位是否有资格收回自留地的问题，这主要取决于自留地的性质以及相关法律法规的规定。首先，我们需要明确自留地通常指的是农村集体经济组织分配给成员长期使用的土地，它属于农民集体所有，而非国有土地。不过，为了全面解答，我会同时涵盖国有土地和农民集体土地的相关情况。

对于国有土地：

根据《中华人民共和国土地管理法》第五十八条的规定，政府或其自然资源主管部门在特定情况下有权收回国有土地使用权。这些情况包括但不限于：

1. 为实施城市规划进行旧城区改建或其他公共利益需要，确需使用土地的；
2. 土地出让等有偿使用合同约定的使用期限届满，土地使用者未申请续期或申请续期未获批准的；
3. 因单位撤销、迁移等原因，停止使用原划拨的国有土地的；
4. 公路、铁路、机场、矿场等经核准报废的。

在这些情况下，如果土地使用权属于某个单位，且符合上述条件之一，那么政府或其自然资源主管部门在报经原批准用地的人民政府或有批准权的人民政府批准后，可以收回该国有土地使用权。但需要注意的是，对于因公共利益需要收回土地的，应当对土地使用权人给予适当补偿。

对于农民集体土地：

对于农民集体所有的土地，如自留地，其收回的情况则有所不同。根据相关规定，无偿收回农民集体土地所有权的情况主要包括：

1. 不按批准的用途使用土地；
2. 因撤销、迁移等原因停止使用土地的。

然而，在实际操作中，收回农民集体土地通常需要经过严格的法律程序，并确保符合相关法律法规的规定。此外，由于自留地是农民的重要生活来源，因此其收回往往受到更为严格的限制和监管。

总结：

• 对于国有土地，单位（实际上是政府或其自然资源主管部门）在特定情况下有权收回土地使用权，但需符合法律法规的规定，并可能需要对土地使用权人给予补偿。
• 对于农民集体土地（如自留地），其收回受到更为严格的限制和监管，通常需要符合特定的条件并经过严格的法律程序。

因此，单位本身并不直接拥有收回自留地的资格。如果涉及自留地的收回问题，通常需要政府或其相关部门依据法律法规进行决策，并确保整个过程的合法性和公正性。如果您面临类似问题，建议咨询当地土地管理部门或法律专业人士以获取更具体的指导和帮助。