结论：书记一般没有权利直接不让委员工作，但具体是否可行需结合组织规定、内部章程及实际情况综合判断。以下从不同角度详细分析：
一、从组织架构和职权划分角度
在大多数组织（如企业、事业单位、社会团体等）中，书记和委员都是组织架构中的重要组成部分，各自承担着不同的职责和权力。书记通常负责组织的全面工作，包括决策、协调、监督等，而委员则根据分工负责特定领域的工作。
职权范围：书记的职权通常是在组织章程或相关规章制度中明确规定的，这些规定会界定书记的决策权、管理权、监督权等。同样，委员的职权和职责也会在这些文件中得到明确。除非组织章程或相关规章制度明确赋予书记对委员工作的直接干预权，否则书记一般没有权利直接不让委员工作。
组织原则：组织运作通常遵循一定的原则，如民主集中制、分工负责制等。这些原则要求组织成员在各自的职权范围内行使权力，不得越权或滥用职权。因此，书记在行使权力时，也需要遵循这些原则，不得随意干预委员的工作。
二、从实际操作和内部管理角度
尽管书记在理论上没有直接不让委员工作的权利，但在实际操作中，书记可能通过其他方式影响委员的工作。
协调与沟通：书记作为组织的负责人，有责任协调组织内部的工作，确保各项任务的顺利完成。在这个过程中，书记可能会与委员进行沟通，提出工作建议或要求。如果委员认为这些建议或要求不合理，可以通过正常渠道提出异议或寻求解决方案。
内部管理：书记可能通过制定内部管理制度或工作流程来影响委员的工作。这些制度或流程可能涉及工作分配、任务安排、考核评价等方面。然而，这些制度或流程的制定和实施也需要遵循组织章程和相关法律法规的规定，不得侵犯委员的合法权益。
三、从法律角度
如果书记的行为违反了组织章程、相关规章制度或法律法规的规定，委员可以依法维护自己的权益。
申诉与投诉：委员可以向组织的上级部门或相关监管机构申诉或投诉书记的不当行为。这些部门或机构会依法进行调查和处理，维护组织的正常运作和委员的合法权益。
法律途径：如果书记的行为构成了违法或侵权，委员还可以通过法律途径来维护自己的权益。例如，可以向法院提起诉讼，要求书记承担相应的法律责任。
四、特殊情况下的考虑
在某些特殊情况下，如委员存在严重违纪违法行为或无法履行职责时，书记可能根据组织章程或相关规章制度的规定，提出对委员的处分或调整建议。然而，这些建议也需要经过组织内部的决策程序（如会议讨论、表决等）才能生效，书记不能单方面决定。
建议：如果您或您所在的组织遇到了类似的问题，建议首先查阅组织章程和相关规章制度，明确书记和委员的职权和职责。如果问题无法解决，可以寻求上级部门或相关监管机构的帮助和支持。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。