限制劳动者劳动是否违法，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：
合法限制的情形：
- 基于劳动合同和规章制度：如果用人单位与劳动者在劳动合同中明确约定了工作内容、工作时间、工作地点等，并且这些约定符合法律法规的规定，那么用人单位在合同范围内对劳动者的工作进行合理限制是合法的。例如，要求劳动者在特定时间内完成特定任务，或者禁止劳动者在工作时间内从事与工作无关的活动。
- 基于安全生产和职业健康：为了保障劳动者的生命安全和身体健康，用人单位可以根据法律法规的规定，对劳动者的工作环境、工作条件、工作时间等进行限制。例如，禁止劳动者在高温、有毒、有害等环境下长时间工作，或者要求劳动者佩戴安全防护用品等。
- 基于法律法规的直接规定：某些法律法规可能直接规定了用人单位对劳动者劳动的限制。例如，《劳动法》规定，禁止用人单位招用未满十六周岁的未成年人，这就是对用人单位用工行为的直接限制。
违法限制的情形：
- 超出合理范围的限制：如果用人单位对劳动者的限制超出了劳动合同、规章制度或法律法规的合理范围，就可能构成违法。例如，用人单位无故禁止劳动者在非工作时间外出，或者要求劳动者承担超出其职责范围的工作任务等。
- 侵犯劳动者基本权利的限制：用人单位的限制如果侵犯了劳动者的基本权利，如人身自由、休息休假、劳动报酬等，也是违法的。例如，用人单位强制劳动者加班且不支付加班费，或者限制劳动者的人身自由等。
- 基于歧视或报复的限制：如果用人单位对劳动者的限制是基于歧视（如性别、年龄、种族等）或报复（如因劳动者提出合理诉求而对其进行限制），那么这种限制也是违法的。
法律后果与建议：
- 如果用人单位的限制行为违法，劳动者有权向劳动监察部门投诉或申请劳动仲裁，要求用人单位停止违法行为并承担相应的法律责任。
- 对于劳动者而言，在面对用人单位的限制时，应首先了解自己的权利和义务，以及用人单位的限制是否合法合理。如果认为用人单位的限制违法或不合理，可以与用人单位进行沟通协商，或者寻求法律援助。
- 对于用人单位而言，应严格遵守法律法规的规定，合理制定劳动合同和规章制度，避免对劳动者进行违法或不合理限制。同时，应加强对劳动者的培训和教育，提高劳动者的法律意识和维权能力。
总之，限制劳动者劳动是否违法需根据具体情况来判断。如果你在这方面有具体的疑问或遇到相关问题，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。