结论：小企业开除员工若不赔偿，需要提供充分的证据来证明其开除行为的合法性。这些证据通常包括员工存在严重违反公司规章制度、严重失职或营私舞弊给公司造成重大损害、被依法追究刑事责任等情形的相关证明材料。
详细分析：
员工存在严重违反公司规章制度的情形：
- 证据要求：企业需要提供员工违反规章制度的书面记录、监控录像、员工签字确认的违规事实等。这些证据应当能够清晰地证明员工确实存在违反规章制度的行为，且该行为达到了“严重”的程度。
- 法律依据：根据《劳动合同法》第三十九条，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同，且无需支付经济补偿。
员工存在严重失职或营私舞弊给公司造成重大损害的情形：
- 证据要求：企业需要提供员工失职或营私舞弊的具体事实、造成的损失金额及评估报告、相关责任人的认定等。这些证据应当能够证明员工的行为与公司的损失之间存在直接的因果关系，且损失达到了“重大”的程度。
- 法律依据：同样根据《劳动合同法》第三十九条，劳动者严重失职，营私舞弊，给用人单位造成重大损害的，用人单位可以解除劳动合同，且无需支付经济补偿。
员工被依法追究刑事责任的情形：
- 证据要求：企业需要提供法院的刑事判决书或相关法律文书，证明员工确实被依法追究了刑事责任。
- 法律依据：根据《劳动合同法》第三十九条，劳动者被依法追究刑事责任的，用人单位可以解除劳动合同，且无需支付经济补偿。
其他注意事项：
- 程序合法性：除了实体上的证据外，企业还需要确保开除员工的程序合法。例如，在解除劳动合同前，应当事先将理由通知工会，并听取工会的意见；如果工会提出异议，企业应当研究工会的意见，并将处理结果书面通知工会。
- 证据保存：企业应当妥善保存所有与开除员工相关的证据，以备在劳动仲裁或诉讼中作为证明其开除行为合法性的依据。
- 法律咨询：由于劳动法律关系复杂多变，企业在处理此类问题时最好咨询专业律师的意见，以确保其行为的合法性和有效性。
建议：
- 如果企业确实需要开除员工且不支付赔偿，应当确保有充分的证据来证明其开除行为的合法性。
- 在处理此类问题时，企业应当遵循合法、公正、公开的原则，确保员工的合法权益得到保障。
- 如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供专业的法律意见。