未被定罪单位不可以被行政开除。

首先，我们需要明确“单位”和“行政开除”的概念。在单位犯罪中，单位作为一个独立的法律主体，可以承担刑事责任。但“行政开除”这一处罚措施，通常是针对个人而言，即针对公务员、事业单位工作人员等特定身份的人员，因其违反行政纪律或法律法规而给予的一种严厉处分。

对于单位而言，其可能面临的行政处罚种类并不包括“行政开除”。单位若违法，可能会受到罚款、警告、责令停产停业、吊销许可证或执照等行政处罚，但这些处罚并不等同于“行政开除”。

此外，即使单位中的某个成员因违法行为被开除，这也不等同于单位被“行政开除”。单位成员的个人行为与单位的行为在法律上是有所区分的。

综上所述，未被定罪单位不可以被行政开除。如果单位面临任何法律问题或行政处罚，建议及时咨询专业律师，以便更好地维护单位的合法权益。而我，孙乐洋律师，正是你在这方面的得力助手，擅长刑事辩护、行政复议等领域，欢迎随时向我提问。