结论前置：在休息天被老板要求回去上班，您并非绝对有权利拒绝，这主要取决于您与用人单位之间的用工形式以及是否存在特殊约定或法定情形。以下从不同角度为您详细分析：

1. 标准工时制下的情况：

   • 在标准工时制下，员工每周工作五天，每天工作八小时，超出这个时间的工作通常被视为加班。根据《劳动法》的相关规定，用人单位在休息日安排劳动者工作又不能安排补休的，应支付不低于工资的百分之二百的工资报酬。但这并不意味着员工有权拒绝休息日的工作安排，除非双方劳动合同中有明确约定或者用人单位的工作安排违反了法律法规的强制性规定。
   • 建议：如果老板在休息日要求您回去上班，您可以先与老板沟通，了解加班的具体原因和补休或加班费的情况。如果加班是合理的且符合公司规定，同时您也愿意为了工作或获得额外报酬而加班，那么您可以接受安排。如果您认为加班不合理或不符合公司规定，或者您因个人原因无法加班，您可以向老板说明情况并尝试拒绝。

2. 特殊工时制下的情况：

   • 如果您与用人单位约定实行的是不定时工作制或综合计算工时工作制，那么休息日上班可能并不构成加班。不定时工作制是指因生产特点、工作特殊需要或职责范围的关系，无法按标准工作时间衡量或需要机动作业的职工所采用的一种工时制度。综合计算工时工作制则是指分别以周、月、季、年等为周期，综合计算工作时间，但其平均日工作时间和平均周工作时间应与法定标准工作时间基本相同。
   • 建议：在特殊工时制下，您应仔细阅读劳动合同中的相关条款，了解自己的工作时间和休息休假安排。如果老板在休息日要求您回去上班，且这种安排符合劳动合同中的约定和法律法规的规定，那么您可能需要接受安排。如果您认为这种安排不合理或违反了法律法规的规定，您可以向劳动监察部门投诉或寻求法律援助。

3. 存在特殊约定或法定情形的情况：

   • 如果您与用人单位在劳动合同中明确约定了休息日不上班或者有特定的休息休假安排，那么老板在休息日要求您回去上班可能构成违约行为。此外，如果老板的工作安排违反了法律法规的强制性规定（如强迫劳动、超时加班等），您也有权拒绝并可以向相关部门投诉。
   • 建议：在这种情况下，您应首先查看劳动合同中的相关条款，了解自己的权利和义务。如果老板的工作安排违反了劳动合同中的约定或法律法规的规定，您可以向老板提出异议并尝试拒绝。如果老板坚持要求您回去上班，您可以向劳动监察部门投诉或寻求法律援助来维护自己的合法权益。

总结与进一步行动建议：在休息天被老板要求回去上班时，您应先了解自己的用工形式和劳动合同中的相关条款，再根据实际情况判断是否可以拒绝。如果加班是合理的且符合公司规定，同时您也愿意加班，那么可以接受安排；如果加班不合理或违反了法律法规的规定，您可以向老板说明情况并尝试拒绝，或者向相关部门投诉以维护自己的合法权益。如果您在处理此类问题时遇到任何疑问或困难，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。