结论是，在原来的工作单位停了4年且没办离职的情况下，一般不能直接继续在该单位工作，且这种情况可能对后续找工作产生一定影响。以下从不同角度进行分析：
一、原单位工作关系
劳动关系状态：根据《劳动合同法》的相关规定，劳动关系自用工之日起建立，同时，当劳动合同解除或终止时，劳动关系也随之消灭。您在原单位停了4年且未办理离职手续，这并不意味着劳动关系仍然存续。实际上，由于您长时间未提供劳动，且单位也未支付工资或提供工作条件，双方很可能已经默认解除了劳动关系。但这种默认解除并不符合法律规定的程序，可能存在一些潜在的法律风险，比如原单位可能主张您擅自离职，要求您承担一定的责任。不过，从实际操作的角度来看，您很难再直接回到原单位继续工作，因为双方的工作状态和劳动关系已经发生了实质性的变化。
办理离职手续的必要性：尽管您可能无法直接回到原单位工作，但办理离职手续仍然是必要的。离职手续不仅关乎到您与原单位之间劳动关系的正式终结，还涉及到档案转移、社保关系处理等重要事项。如果未办理离职手续，您的档案可能仍留在原单位，这会对您后续找工作产生不利影响，因为新单位在录用时通常需要查看您的完整档案。
二、对后续找工作的影响
档案问题：如前所述，未办理离职手续可能导致您的档案留存在原单位。新单位在录用时，为了全面了解您的工作经历和背景，通常会要求查看您的档案。如果档案无法及时获取或存在不完整的情况，新单位可能会对您的录用产生疑虑，从而影响您的求职成功率。
社保缴纳问题：未办理离职手续还可能影响您的社保缴纳。在劳动关系存续期间，单位应当为您缴纳社保。如果未办理离职手续，单位可能继续为您缴纳社保（尽管实际上您并未提供劳动），或者停止缴纳但未办理相关手续。这两种情况都可能导致您在后续找工作时面临社保缴纳的断档或重复缴纳等问题，给您带来不必要的麻烦。
三、建议与措施
与原单位沟通：建议您尽快与原单位取得联系，了解您的劳动关系状态和离职手续办理情况。如果双方已经默认解除了劳动关系，您可以要求原单位为您出具解除劳动关系的证明，并办理档案和社会保险关系转移手续。
咨询法律专业人士：如果与原单位的沟通存在困难或争议，您可以咨询法律专业人士（比如我），了解您的权益和可能的维权途径。在必要时，您可以通过法律手段来维护自己的合法权益。
积极寻找新工作：在处理与原单位的关系的同时，您也可以积极寻找新的工作机会。在求职过程中，您可以如实说明您与原单位的情况，并强调您已经或正在积极办理离职手续和档案转移等事项，以消除新单位的疑虑。
希望以上分析能够对您有所帮助。如果您还有其他疑问或需要进一步的法律建议，请随时向我咨询。