结论：单位并非必须以职工刑事犯罪为由开除职工，是否开除需根据具体情况和法律规定来决定。以下从多个角度进行分析：
一、法律依据
根据《中华人民共和国劳动合同法》第三十九条的规定，劳动者被依法追究刑事责任的，用人单位可以解除劳动合同。这里的“可以”意味着用人单位有解除劳动合同的权利，但并非义务。也就是说，即使职工被依法追究刑事责任，单位也有权选择不解除劳动合同。
二、考虑因素
犯罪性质与情节：
- 如果职工的犯罪行为严重违反了职业道德或公司规章制度，如贪污受贿、挪用公款等，且给公司造成了重大损失，那么公司有权解除劳动合同。
- 如果职工的犯罪行为较轻，且与公司业务无直接关联，如个人生活中的小偷小摸行为（未构成严重犯罪），公司可能更倾向于给予其改过自新的机会。
公司规章制度：
- 公司应制定明确的规章制度，规定员工在何种情况下会被解除劳动合同。如果规章制度中没有明确规定，或者规定不明确，公司在处理时应更加谨慎，避免因为规章制度的不完善而引发劳动争议。
社会影响与舆论压力：
- 在某些情况下，职工的犯罪行为可能会引发社会关注和舆论压力。公司需要权衡维护企业形象和声誉的重要性，以及是否需要通过解除劳动合同来表明立场。但这一因素并非决定性因素，公司应综合考虑其他因素后再做决定。
劳动者的态度与表现：
- 劳动者在犯罪后的态度、悔改情况以及在公司的工作表现也是公司考虑是否解除劳动合同的重要因素。如果劳动者能够真诚悔过，并表现出积极的工作态度，公司可能会选择继续留用。
三、实际操作建议
调查核实：
- 在得知职工犯罪后，公司应进行充分的调查核实，了解犯罪的具体情况和原因。这有助于公司更准确地评估犯罪行为对公司的影响以及解除劳动合同的必要性。
内部讨论：
- 组织相关部门和人员进行内部讨论，评估犯罪行为对公司的影响以及解除劳动合同的必要性。通过集体讨论，可以更全面地考虑各种因素，避免个人决策的片面性。
法律咨询：
- 在处理此类案件时，公司可以咨询专业律师的意见，确保公司的决定符合法律法规的要求。作为专业律师，我可以为你提供详细的法律咨询和指导。
通知与沟通：
- 如果决定解除劳动合同，应按照法定程序通知职工，并进行必要的沟通和解释工作。这有助于维护公司的良好形象，避免因为解除劳动合同而引发不必要的劳动争议。
四、特殊情况说明
- 如果职工曾经有过工伤，但后来刑事犯罪，单位在考虑是否开除时，应特别关注工伤对职工的影响以及职工在工伤后的工作表现。如果职工在工伤后仍然能够胜任工作，且犯罪行为与工伤无直接关联，单位应更加谨慎地考虑是否解除劳动合同。
总结：单位在面对职工刑事犯罪的情况时，并非必须开除职工。是否开除需根据具体情况和法律规定来决定，包括犯罪性质与情节、公司规章制度、社会影响与舆论压力以及劳动者的态度与表现等因素。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。