不会仅因行政处罚就被单位开除。具体分析如下：

首先，行政处罚是行政机关对违反行政法规的个人或单位所实施的一种惩罚措施，它并不直接等同于刑事犯罪或严重的职业失信行为。因此，单纯的行政处罚并不足以构成单位开除员工的直接理由。

其次，根据《中华人民共和国劳动合同法》的相关规定，用人单位可以解除劳动合同的情形中，并不包括员工被行政处罚。只有在员工被依法追究刑事责任的情况下，用人单位才有权依据该法条解除劳动合同，并且无需向劳动者支付经济补偿。

然而，也需要注意到，虽然行政处罚本身不会直接导致开除，但如果员工的行政处罚行为与其工作职责或单位的规章制度存在严重冲突，或者给单位造成了重大损害，那么单位可能会依据其内部的规章制度或相关法律法规，对员工采取进一步的处理措施，包括但不限于停职、降职或开除等。

综上所述，行政处罚过去两年了，单位不会仅因此就开除员工。但具体情况还需根据单位的规章制度以及相关法律法规进行综合判断。如果你对此有进一步的疑问或需要更详细的法律建议，可以直接向我咨询。