结论：在签订综合工时制的情况下，单位并非可以随意调整工作时间，员工在特定情况下有权拒绝不合理的调整。
分析：
综合工时制的定义与特点：
- 综合工时制是一种特殊的工作时间制度，它允许用人单位根据生产、工作的特点，采用以周、月、季、年等为周期综合计算工作时间的方式，但其平均日工作时间和平均周工作时间应与法定标准工作时间基本相同。
- 在综合工时制下，用人单位在保障劳动者身体健康并充分听取劳动者意见的基础上，可以采用集中工作、集中休息、轮休调休、弹性工作时间等适当方式，确保劳动者的休息休假权利和生产、工作任务的完成。
单位调整工作时间的限制：
- 尽管综合工时制提供了一定的灵活性，但用人单位在调整工作时间时仍需遵守相关法律法规，确保不侵犯劳动者的合法权益。
- 调整工作时间应基于生产、工作的实际需要，并应提前与劳动者进行协商，取得劳动者的同意。
- 调整后的工作时间应确保劳动者的平均日工作时间和平均周工作时间不超过法定标准工作时间，且应保障劳动者有足够的休息时间。
员工拒绝调整工作时间的权利：
- 如果用人单位的调整工作时间安排违反了法律法规或劳动合同的约定，劳动者有权拒绝。
- 劳动者在拒绝调整时，应保留相关证据，如用人单位的通知、调整方案等，以便在发生争议时维护自己的合法权益。
- 如果用人单位因此解除劳动合同或采取其他不利措施，劳动者可以依法向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
实际操作建议：
- 对于劳动者而言，在签订劳动合同时应仔细阅读关于工作时间的条款，了解综合工时制的具体内容和限制。
- 在用人单位提出调整工作时间时，劳动者应积极与用人单位进行沟通，表达自己的意见和诉求。
- 如果用人单位的调整安排不合理或违反法律法规，劳动者可以依法拒绝，并寻求法律援助或咨询专业律师以维护自己的权益。
法律后果：
- 如果用人单位违反法律法规或劳动合同的约定调整工作时间，劳动者有权向劳动监察部门投诉或申请劳动争议仲裁。
- 劳动监察部门或劳动争议仲裁委员会将依法对用人单位的违法行为进行查处，并可能要求用人单位支付加班费、赔偿金等费用。
- 在严重情况下，用人单位还可能面临行政处罚或刑事责任。
总结：在签订综合工时制的情况下，单位并非可以随意调整工作时间。劳动者在面对不合理的调整时，有权拒绝并维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。