结论：单位是否可以解除因偷自行车被公安行政处罚的职工的劳动合同，需根据具体情况判断，主要看该职工的行为是否构成严重违反用人单位的规章制度或是否符合法律规定的解除劳动合同情形。

分析：

1. 从规章制度角度：

   • 根据《中华人民共和国劳动合同法》第三十九条的规定，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。
   • 如果用人单位的规章制度中明确规定了偷窃行为（包括偷自行车）属于严重违反规章制度的行为，并且该规章制度已经依法告知职工，那么单位有权依据此规定解除劳动合同。

2. 从违法行为严重性角度：

   • 偷自行车虽然是一种违法行为，但并不一定构成犯罪。如果仅受到行政处罚，而未构成犯罪，那么单位在解除劳动合同时需要谨慎考虑。
   • 如果偷窃行为情节轻微，且职工有悔过表现，单位可以考虑给予警告、记过等纪律处分，而不是直接解除劳动合同。
   • 如果偷窃行为情节严重，如多次偷窃、偷窃数额较大等，且对用人单位的声誉或利益造成较大损害，那么单位可以依据《中华人民共和国劳动合同法》的相关规定，解除劳动合同。

3. 从法律程序角度：

   • 即使职工的行为构成严重违反规章制度或符合法律规定的解除劳动合同情形，单位在解除劳动合同时也需要遵循一定的法律程序。
   • 单位应当事先将理由通知工会，并听取工会的意见。如果工会提出异议，单位应当研究工会的意见，并将处理结果书面通知工会。
   • 单位解除劳动合同的决定应当以书面形式通知职工，并告知其享有申诉或提起劳动争议仲裁的权利。

建议：

• 单位在解除劳动合同前，应当仔细审查职工的违法行为是否构成严重违反规章制度或符合法律规定的解除劳动合同情形。
• 单位应当确保规章制度的合法性和合理性，并依法告知职工。
• 在解除劳动合同时，单位应当遵循法律程序，确保解除决定的合法性和有效性。
• 如果职工对解除决定有异议，单位应当积极应对，通过协商、调解或仲裁等方式解决争议。

后续行动：

• 如果您作为用人单位，面临此类情况，建议先审查自身的规章制度，并咨询专业律师以获取更具体的法律建议。
• 如果您作为职工，对单位的解除决定有异议，也可以直接向我咨询，我将根据您的具体情况提供法律帮助。