针对您离职4年后想回原单位被拒绝的情况，虽然直接的法律条文可能并未明确规定此类情境下的具体处理方式，但我们可以从劳动法的相关原则和类似案例的处理逻辑中，为您分析并提供一些建议。

首先，要明确的是，原单位拒绝您回去工作，并不直接违反特定的法律条文，因为这更多涉及到单位的人事决策和用工自主权。然而，如果原单位在拒绝您时存在不公平、歧视性或违反劳动合同、公司规章制度的行为，那么您可能有权通过法律途径来维护自己的权益。

针对您的情况，以下是一些建议：

1. 了解拒绝原因：

   • 尝试与原单位的人力资源部门或相关负责人沟通，了解他们拒绝您回去的具体原因。这有助于您判断是否存在不公平或歧视性的因素。

2. 评估自身权益：

   • 回顾您与原单位签订的劳动合同、公司规章制度以及相关法律法规，评估原单位的拒绝行为是否违反了这些规定。
   • 如果您认为原单位的行为存在违法或违规之处，您可以考虑收集相关证据，如邮件、聊天记录、合同文本等，以备后续维权之需。

3. 尝试协商与调解：

   • 尽管《人事争议处理规定》未对协商、调解的时效做出限制，但协商和调解通常需要基于双方当事人的自愿。您可以尝试与原单位进行友好协商，表达您回去工作的意愿和理由。
   • 如果协商无果，您可以考虑寻求第三方调解机构的帮助，如劳动争议调解委员会等。但请注意，调解也需要双方当事人的同意和配合。

4. 考虑其他就业机会：

   • 如果原单位坚持拒绝您回去工作，且您认为通过法律途径维权可能面临较大困难或成本较高，那么您可以考虑寻找其他就业机会。
   • 在寻找新工作时，您可以充分利用自己的经验和技能，积极展示自己的优势和潜力，以吸引潜在雇主的注意。

5. 法律途径（如适用）：

   • 如果您认为原单位的行为严重侵犯了您的合法权益，且您有足够的证据支持自己的主张，那么您可以考虑通过法律途径来维权。
   • 这可能包括向劳动争议仲裁委员会申请仲裁、向人民法院提起诉讼等。但请注意，法律途径通常较为复杂和耗时，且结果存在不确定性。

最后，我想强调的是，每个劳动争议案件都有其独特性和复杂性。因此，在做出任何决策之前，我建议您咨询专业的劳动法律师或相关机构，以获取更具体和个性化的法律建议。他们可以根据您的具体情况和当地法律法规，为您提供更准确的指导和帮助。