劳动者在单位单方面通知修改工作时间的情况下，确实有权拒绝。以下是从不同角度对此问题的详细分析：
一、法律依据与原则
根据《中华人民共和国劳动合同法》第三十五条的规定：“用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。”这一条款明确了变更劳动合同内容（包括工作时间）需要双方协商一致的原则。因此，如果单位想要变更员工的工作时间，必须与员工进行协商，并达成一致意见。未经员工同意，单位单方面变更工作时间是违法的。
二、劳动者可以拒绝的情形
未与员工协商一致：
- 如果单位在未与员工进行充分沟通或协商的情况下，单方面决定变更工作时间，员工有权拒绝这种不合理的安排。因为根据法律规定，变更劳动合同内容需要双方协商一致。
变更后的工作时间严重不合理：
- 例如，将原本正常的工作时间调整为过长或不规律的时间段，严重影响员工的正常生活和工作效率。在这种情况下，员工可以基于合理理由拒绝变更工作时间。
违反法律法规：
- 如果单位要求员工在法定休息日、节假日加班，且未按照法律规定支付加班费或安排补休，员工有权拒绝这种违法行为。因为单位的行为违反了劳动法律法规的规定。
影响员工身体健康或安全：
- 如果变更后的工作时间可能导致员工过度劳累，甚至对身体健康和安全构成威胁，员工也有权拒绝。因为保护员工的身体健康和安全是劳动法律法规的重要原则之一。
三、劳动者的应对建议
与单位进行沟通：
- 员工应首先尝试与单位进行沟通，表达自己的担忧和困难，寻求双方都能接受的解决方案。通过沟通，可能能够达成共识，避免不必要的争议。
保留相关证据：
- 如果单位坚持要求员工接受不合理的工作时间安排，员工应保留好相关证据，如通知、邮件、聊天记录等。这些证据在后续维权过程中将起到重要作用。
向劳动监察部门投诉：
- 如果沟通无果，员工可以向当地的劳动监察部门投诉，请求其介入调查并维护自己的合法权益。劳动监察部门有权对单位的违法行为进行查处，并保护员工的合法权益。
申请劳动仲裁或提起诉讼：
- 在必要时，员工还可以依法申请劳动仲裁或向人民法院提起诉讼，通过法律途径解决争议。劳动仲裁和诉讼是解决劳动争议的重要法律手段，能够为员工提供有效的法律保障。
综上所述，劳动者在单位单方面通知修改工作时间的情况下，确实有权拒绝。如果遇到这种情况，劳动者应首先与单位进行沟通，并保留好相关证据。如果沟通无果，可以向劳动监察部门投诉或申请劳动仲裁、提起诉讼来维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。