结论前置：如果单位违法开除你，而你不想离职，你是可以申请劳动仲裁的，并且可以要求单位继续履行劳动合同或者支付赔偿金。
详细分析：
单位开除的合法性：
- 单位开除员工必须基于合法的理由，如员工严重违反公司规章制度、严重失职、营私舞弊给公司造成重大损害等。如果单位无法提供充分的证据证明其开除行为的合法性，那么该开除行为可能被视为违法。
不想离职的权益：
- 如果你认为单位的开除行为违法，且你不想离职，你有权选择申请劳动仲裁来维护自己的权益。在劳动仲裁过程中，你可以要求单位继续履行劳动合同，即恢复你的工作职位和待遇。
劳动仲裁的申请：
- 你可以向当地的劳动争议仲裁委员会提交仲裁申请，并附上相关证据材料，如劳动合同、工资单、开除通知等，以证明单位的开除行为违法。
- 仲裁委员会在受理你的申请后，会安排开庭审理，并根据双方提供的证据和法律规定作出裁决。
可能的裁决结果：
- 如果仲裁委员会认定单位的开除行为违法，它可能会裁决单位继续履行劳动合同，即恢复你的工作。
- 如果由于各种原因（如单位已无法继续经营、职位已被他人替代等）无法继续履行劳动合同，仲裁委员会可能会裁决单位支付赔偿金给你。赔偿金的数额通常根据你的工作年限、工资水平等因素来确定。
后续行动建议：
- 在申请劳动仲裁前，建议你先与单位进行协商，尝试通过沟通解决问题。
- 如果协商无果，再考虑申请劳动仲裁。在申请过程中，务必保留好所有相关证据材料，以便在仲裁过程中证明自己的权益。
- 如果对劳动仲裁结果不满意，你还可以在法定期限内向人民法院提起诉讼。
举例说明：
假设你因一次小错误被单位以“严重违反公司规章制度”为由开除，但你认为这个错误并不严重，且单位没有提供充分的证据证明其开除行为的合法性。在这种情况下，你可以申请劳动仲裁，要求单位继续履行劳动合同或者支付赔偿金。如果仲裁委员会认定单位的开除行为违法，它可能会裁决单位恢复你的工作或者支付相应的赔偿金。
最后提醒：劳动仲裁是一个相对复杂且耗时的过程，但它是维护劳动者权益的有效途径。如果你遇到类似问题，且不确定如何处理，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。