结论前置：标准工时制下，用人单位一般不可以随意不固定休息时间，需遵循法定工时和休息休假制度，但存在特殊工时制度或双方协商一致等例外情形。以下分情况详细说明：

1. 标准工时制下的法定要求

根据《劳动法》第三十六条、第三十八条，标准工时制下劳动者每日工作时间不超过8小时、平均每周不超过44小时，且用人单位应保证劳动者每周至少休息1日。这意味着：

• 休息时间需固定化：用人单位通常需安排固定的周末休息日（如周六、周日），或通过轮班制确保劳动者每周有连续的休息时间。
• 随意调整的违法性：若用人单位未与劳动者协商，单方面取消固定休息日（如要求每周工作7天），或长期安排不规律的休息时间（如随机调休），可能违反《劳动法》第三十八条，劳动者有权拒绝并主张加班费或补休。

2. 特殊工时制度的例外情形

若用人单位经劳动行政部门批准，实行不定时工作制或综合计算工时工作制，则休息时间安排可能更灵活：

• 不定时工作制：适用于高管、外勤人员等，无固定工作时间限制，但需确保劳动者平均日/周工作时间不超标，且保障其休息权。
• 综合计算工时制：以周、月、季、年为周期综合计算工作时间，但周期内总工时不得超标，且需安排补休或支付加班费。 注意：即使实行特殊工时制，用人单位也需通过民主程序（如职工代表大会）与劳动者协商，并报劳动行政部门审批，否则仍属违法。

3. 双方协商一致的合法调整

若用人单位与劳动者通过书面劳动合同或集体合同约定，在不违反法律强制性规定的前提下调整休息时间（如实行弹性工作制、调休制），则可能合法。例如：

• 双方约定“每周工作40小时，具体休息日由用人单位根据业务需要安排，但每月保证4天休息”；
• 劳动者自愿申请加班后补休，用人单位予以批准。 关键点：协商需自愿、平等，且不得剥夺劳动者最低休息权利（如每周至少1日休息）。

4. 违法调整的法律后果

若用人单位违反标准工时制下的休息时间规定，劳动者可采取以下措施：

• 向劳动监察部门投诉：要求用人单位整改并支付加班费；
• 申请劳动仲裁：主张违法解除劳动合同的赔偿金（如因拒绝不合理调休被辞退）；
• 主张加班费：对超出法定工作时间的部分，按150%（工作日）、200%（休息日）、300%（法定节假日）标准主张工资。

建议：若您所在单位存在不固定休息时间的情况，可先核对劳动合同、工时制度审批文件，再与用人单位协商；协商不成可依法维权。如有具体问题，欢迎直接向我咨询。