结论：临时工不遵守工作时间，用人单位在符合法律规定的情形下是可以辞退的，但必须遵循严格的法律程序和条件。以下从多个角度详细分析：
一、法律依据与辞退条件
根据《中华人民共和国劳动合同法》第三十九条的规定，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。虽然该条款未直接提及“不遵守工作时间”，但不遵守工作时间若构成“严重违反用人单位的规章制度”，则属于可解除劳动合同的情形。具体来说，辞退临时工（或任何劳动者）不遵守工作时间，需满足以下条件：
规章制度明确且合法：
- 用人单位的规章制度中应明确规定员工应遵守的工作时间，以及不遵守工作时间的后果。
- 规章制度需经过民主程序制定，并向劳动者公示，确保其合法性。
不遵守行为的严重性：
- 轻微的不遵守工作时间行为通常不构成解除劳动合同的理由，可通过沟通、警告等方式处理。
- 若不遵守工作时间导致生产停滞、项目延误等严重后果，或多次拒绝合理的工作时间安排，可能构成“严重违反规章制度”。
程序正当性：
- 解除劳动合同前，用人单位应进行调查取证，确保事实清楚、证据充分。
- 需提前通知工会（如有），听取意见后作出决定，避免程序违法。
二、具体操作步骤
核实规章制度：
- 检查用人单位的规章制度中是否有关于工作时间的明确规定，以及不遵守工作时间的处罚措施。
收集证据：
- 收集临时工不遵守工作时间的证据，如考勤记录、监控录像、同事证言等。
沟通与警告：
- 在辞退前，与临时工进行沟通，了解其不遵守工作时间的原因，并给予警告，要求其改正。
作出辞退决定：
- 若临时工拒不改正，且其行为构成严重违反规章制度，用人单位可作出辞退决定。
通知工会与办理手续：
- 若用人单位有工会，需提前通知工会并听取意见。
- 办理辞退手续，包括出具辞退通知书、结算工资等。
三、注意事项
区分临时工与正式工：
- 我国劳动法已取消“临时工”概念，所有劳动者均享有平等权益。无论是否签订劳动合同，只要存在事实劳动关系，均需遵守用人单位规章制度。
经济补偿问题：
- 若因劳动者过错（如严重违反规章制度）解除劳动合同，用人单位无需支付经济补偿。
- 若因客观情况变化等非过错原因解除，则需按法律规定支付补偿金。
避免违法辞退：
- 用人单位在辞退劳动者时，必须确保程序合法、证据充分，避免违法辞退引发的法律纠纷。
四、法律后果
若用人单位违法辞退劳动者，劳动者有权向劳动争议仲裁机构或人民法院提起诉讼，要求用人单位支付赔偿金。赔偿金的标准通常为经济补偿标准的两倍。
建议：在处理此类问题时，用人单位应谨慎行事，确保所有步骤都符合法律规定。若对具体操作有疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。