结论：单位在员工受到行政处罚10年后才知道并决定开除，这一行为是否合法，需根据具体情况来判断，不能一概而论。以下是从不同角度进行的分析：
一、行政处罚与开除的直接关联性
行政处罚的性质：行政处罚是行政机关对违反行政管理秩序的公民、法人或其他组织所实施的惩戒措施。它本身并不直接决定单位是否可以开除员工，除非该行政处罚与员工的工作职责或单位规章制度有直接关联。
单位规章制度的考量：单位在决定开除员工时，通常会依据其内部的规章制度。如果规章制度中明确规定了员工受到行政处罚后，单位有权开除，并且该规章制度是合法有效的（即经过民主程序制定、公示且不违反法律法规的强制性规定），那么单位在知道员工受到行政处罚后，有权依据规章制度进行开除。但关键在于，这一规定是否适用于行政处罚发生多年后的情况，这取决于规章制度的具体内容以及单位是否及时行使了相关权利。
二、时间因素对开除合法性的影响
时效性原则：在法律上，时效性是一个重要的原则。对于单位开除员工的决定，如果基于员工过去的违法行为（如行政处罚），但这一行为已经过去多年，单位才得知并决定开除，那么需要考虑这一决定是否仍然具有时效性。一般来说，除非法律法规或单位规章制度有特别规定，否则单位不能仅凭多年前的行政处罚就随意开除员工。
员工权益的保护：员工在受到行政处罚后，如果已经改正了错误，并且长时间内没有再次违法或违反单位规章制度，那么单位在多年后仅凭过去的行政处罚就开除员工，可能构成对员工权益的不当侵害。
三、具体情境下的合法性判断
如果单位规章制度有明确规定：且该规定不违反法律法规的强制性规定，同时单位能够证明员工受到的行政处罚与工作职责或单位利益有直接关联，且单位在知道后及时行使了开除权利（尽管这个“及时”在多年后可能难以界定），那么开除行为可能是合法的。
如果单位规章制度无明确规定或规定不明确：或者单位无法证明员工受到的行政处罚与工作职责或单位利益有直接关联，或者单位在知道员工受到行政处罚后长时间未采取行动，那么开除行为可能是不合法的。
四、建议与措施
对于员工而言：如果面临被单位开除的情况，且认为开除行为不合法，可以首先与单位进行沟通协商，了解开除的具体原因和依据。如果协商无果，可以向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁，甚至向人民法院提起诉讼，以维护自己的合法权益。
对于单位而言：在决定开除员工时，应确保有合法有效的规章制度作为依据，并且该规章制度应明确规定了员工受到行政处罚后单位可以采取的措施。同时，单位应及时行使相关权利，避免因时间过长而导致权利失效或引发不必要的法律纠纷。
总结来说，单位在员工受到行政处罚10年后才知道并决定开除，这一行为是否合法需根据具体情况来判断。如果单位有合法有效的规章制度作为依据，并且能够证明员工受到的行政处罚与工作职责或单位利益有直接关联，且及时行使了开除权利，那么开除行为可能是合法的；否则，可能是不合法的。如有具体法律问题，可以直接向我咨询。