结论：针对您提出的“卖别人的责任田地没到时间他要回去怎么办”的问题，这涉及到非法转让土地使用权以及合同效力的问题，我将从法律角度为您详细分析并给出建议。
一、非法转让土地使用权的问题
法律背景：
- 根据《中华人民共和国土地管理法》的相关规定，任何单位和个人不得侵占、买卖或者以其他形式非法转让土地。土地使用权可以依法转让，但必须符合法律规定的条件和程序。
- 责任田地属于农村集体土地，其使用权转让需遵循严格的法律程序，包括但不限于经过集体经济组织同意、办理相关审批手续等。
法律后果：
- 如果您未经合法程序，擅自将别人的责任田地转让给他人，这一行为可能构成非法转让土地使用权，将面临法律制裁，包括但不限于罚款、没收违法所得，甚至可能承担刑事责任。
二、合同效力的问题
法律分析：
- 即便您与购买方签订了转让合同，但由于该合同涉及非法转让土地使用权，根据《中华人民共和国民法典》的相关规定，违反法律、行政法规的强制性规定的民事法律行为无效。
- 因此，该转让合同很可能被认定为无效合同，无法产生您预期的法律效果。
处理建议：
- 立即停止非法行为：您应立即停止任何进一步的非法转让行为，避免法律后果的进一步恶化。
- 与购买方协商：尝试与购买方进行友好协商，说明情况，争取达成和解，如退还已收取的款项等。
- 寻求法律帮助：如果协商无果，或者购买方提出不合理要求，您应及时寻求法律帮助，咨询专业律师，了解您的权利和义务，以及可能面临的法律后果。
三、针对原土地使用权人的问题
法律义务：
- 作为非法转让方，您有义务将土地恢复原状，即返还给原土地使用权人。
- 如果因您的非法转让行为给原土地使用权人造成了损失，您还应承担相应的赔偿责任。
处理建议：
- 主动沟通：与原土地使用权人进行沟通，说明情况，表达歉意，并承诺尽快解决问题。
- 履行义务：按照法律规定和双方协商的结果，履行返还土地和赔偿损失的义务。
四、后续行动建议
- 增强法律意识：在未来的土地交易中，务必增强法律意识，确保所有行为都符合法律规定。
- 咨询专业律师：在进行任何土地交易前，建议咨询专业律师，了解相关法律程序和风险，确保交易的合法性和安全性。
总结：非法转让土地使用权是严重的违法行为，不仅可能导致合同无效，还可能面临法律制裁。因此，我建议您立即停止非法行为，与相关方进行友好协商，并寻求法律帮助以妥善解决问题。如果您有任何进一步的法律问题或需要进一步的法律建议，请直接向我咨询。