收回已承包出去的自留地，需根据合同约定及法律规定进行，并可能面临违约责任。以下是对此问题的详细分析：
一. 核查土地转包合同
首先，应仔细核查与承包方签订的土地转包合同，确认合同中是否有关于提前终止或收回土地的条款。根据《中华人民共和国民法典》第五百零九条，当事人应当按照约定全面履行自己的义务。因此，如果合同中有明确规定在特定条件下可以提前收回土地，那么可以按照合同约定进行操作。
二. 协商解除合同
如果合同中没有明确约定提前收回土地的条款，但双方有意愿提前终止合同，可以尝试与承包方进行协商，达成一致意见后解除合同。这通常需要双方就解除条件、补偿方式等进行协商，并签订书面协议以确保双方权益。
三. 依法解除合同
- 承包方违约：如果承包方存在违约行为，如未按照合同约定使用土地、荒芜土地等，根据《中华人民共和国民法典》第五百六十三条，当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行，或当事人一方有其他违约行为致使不能实现合同目的，另一方当事人可以解除合同。在此情况下，您可以依法解除合同，并要求承包方承担违约责任。
- 特定法律情形：根据《中华人民共和国农村土地承包法》第二十六条及第二十九条，承包期内，承包方全家迁入设区的市，转为非农业户口的，应当将承包的耕地和草地交回发包方。承包方不交回的，发包方可以收回承包的耕地和草地。但请注意，此条款针对的是家庭承包的耕地和草地，而非自留地。对于自留地，法律并未明确规定发包方可以提前收回的具体情形。然而，若承包方连续二年弃耕抛荒，根据《土地管理法》第三十七条，原发包单位有权终止承包合同，收回发包的耕地（虽未明确提及自留地，但自留地作为耕地的一种，原则上也应适用此规定）。
四. 通过法律途径解决
如果协商无果，且承包方拒绝交还土地，您可以考虑通过法律途径解决。具体而言：
- 申请调解或仲裁：根据《农村土地承包经营纠纷调解仲裁法》第二条，因农村土地承包经营发生纠纷的，当事人可以向农村土地承包仲裁委员会申请仲裁，也可以直接向人民法院起诉。因此，您可以先向当地农村土地承包仲裁委员会申请调解或仲裁。
- 提起诉讼：若调解或仲裁未能解决问题，您可以向人民法院提起诉讼，要求承包方交还土地，并赔偿因违约造成的损失。在诉讼过程中，您需要提供充分的证据证明自己的权益受到了侵害。
我的观点：在尝试收回已承包出去的自留地之前，务必了解相关法律法规和政策，以避免可能的法律风险。同时，建议咨询专业律师以获取更具体的法律建议。在整个过程中，务必保留好相关证据，如土地承包合同、双方沟通记录、损失证明等，以便在维权过程中证明自己的权益和损失。如有进一步需要，您可以继续咨询我。