员工非工作时间有违法行为，单位一般不可以直接开除，但需视具体情况而定。以下从不同角度为你详细分析：
一、从劳动合同和规章制度的角度
劳动合同约定：首先，要查看劳动合同中是否有关于员工违法行为的处理条款。如果劳动合同中明确规定了员工在非工作时间有违法行为，单位有权解除劳动合同，那么单位在符合法定程序的情况下，可以依据合同约定进行开除。但这样的条款必须合法合理，不能违反法律法规的强制性规定。
规章制度规定：其次，要考察单位的规章制度中是否有相关规定。如果规章制度中明确规定了员工在非工作时间有违法行为，且该行为严重违反了单位的规章制度，单位在经过法定程序（如通知工会、听取员工意见等）后，可以解除劳动合同。但同样，规章制度必须合法有效，且经过民主程序制定并公示。
二、从违法行为的性质和后果的角度
违法行为与工作无关：如果员工的违法行为与工作完全无关，且没有给单位造成任何损失或不良影响，那么单位一般不能仅凭此就开除员工。因为员工的个人行为，在非工作时间且与工作无关的情况下，通常不应成为单位解除劳动合同的理由。
违法行为与工作有关或造成损失：如果员工的违法行为虽然发生在非工作时间，但与工作有关，或者给单位造成了损失或不良影响，那么单位可以根据具体情况考虑是否开除员工。例如，员工在非工作时间利用单位资源进行违法活动，或者员工的违法行为被媒体曝光后严重损害了单位的声誉等。在这种情况下，单位需要权衡利弊，考虑开除员工是否必要且合法。
三、从法律程序和证据的角度
法律程序：无论单位基于何种原因开除员工，都必须遵循法定的程序。这包括通知工会、听取员工意见、出具解除劳动合同的证明等。如果单位未按照法定程序进行开除，可能会面临违法解除劳动合同的法律风险。
证据收集：单位在开除员工前，必须收集充分的证据来证明员工的违法行为以及该行为与工作之间的关系（如果适用）。证据可以包括监控录像、证人证言、警方调查报告等。没有充分证据的情况下，单位不能随意开除员工。
四、特殊情况下的处理
在某些特殊情况下，如员工被依法追究刑事责任，单位可以依据《劳动合同法》的相关规定，无需提前通知即可解除劳动合同。但这种情况下的“违法行为”必须达到被依法追究刑事责任的程度，且必须是在非工作时间发生的违法行为被依法追究刑事责任后，单位才能据此解除劳动合同。
建议：作为员工，应遵守法律法规和单位的规章制度，避免在非工作时间进行违法行为。作为单位，在开除员工前应谨慎考虑并遵循法定程序，确保开除行为的合法性和合理性。如果你或单位在这方面遇到具体问题，可以直接向我咨询，我会根据具体情况为你提供更详细的法律建议。