结论前置：单位仅因您星期天不加班或有时候早退就让您离职，这一行为很可能是违法的。下面我从几个方面为您详细分析：

1. 关于加班与离职的合法性：

   • 加班自愿原则：根据《劳动法》的相关规定，用人单位安排劳动者加班应当遵循自愿原则，并且需要支付相应的加班费。劳动者有权拒绝非法定情形的加班要求，单位不能因此强制劳动者离职。
   • 离职的合法性：单位若想解除与您的劳动合同，必须符合《劳动合同法》中规定的解除条件，如严重违反用人单位的规章制度、严重失职等。仅因您不加班或早退，并不构成单位单方面解除劳动合同的合法理由。

2. 关于早退与离职的关系：

   • 早退的性质：早退确实可能违反单位的规章制度，但单位应依据规章制度对早退行为进行相应的处理，如警告、罚款等，而不能直接以此为由解除劳动合同。
   • 规章制度的合法性：即使单位有关于早退的规章制度，该制度也必须合法、合理，并且已经向劳动者公示或告知。如果规章制度本身违法或未告知劳动者，单位依据该制度解除劳动合同也是违法的。

3. 您的权益与应对措施：

   • 权益保护：您有权要求单位提供合法的解除劳动合同的理由，并有权对单位的违法行为进行申诉或提起劳动仲裁。
   • 应对措施：如果单位坚持让您离职，您可以先与单位进行协商，要求单位出具书面的解除劳动合同通知，并明确解除理由。如果协商无果，您可以向当地的劳动监察部门投诉，或者向劳动仲裁委员会提起劳动仲裁，维护自己的合法权益。

进一步思考：

• 在处理此类问题时，建议您保留好与单位沟通的记录、工作证、工资条等证据，以便在需要时证明自己的权益。
• 如果您对劳动法律法规不太熟悉，可以寻求专业律师的帮助，或者咨询当地的劳动监察部门，以获取更准确的法律建议。

希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时向我提问。