公务员单位的上级没有权利随意剥夺下属的休息权利。

首先，从法律角度来看，《中华人民共和国劳动法》第三条明确规定了劳动者享有休息、休假的权利。这一规定同样适用于公务员，因为公务员也是劳动者的一部分。因此，公务员有权按照国家规定享受休息和休假。

其次，公务员的工作和休息时间是受到法律保护的。根据《公务员法》及其实施细则，公务员享有国家规定的工时制度，加班需按照法律规定进行补偿，且应保证公务员有足够的休息时间。上级不能违反这些规定，随意安排下属加班或剥夺其休息权利。

最后，从实际管理角度来看，虽然公务员单位有一定的管理权限，但这种权限并不能凌驾于法律之上。上级在安排工作时，应充分考虑下属的休息和休假需求，合理安排工作时间和任务量，确保下属的身心健康和工作效率。

综上所述，公务员单位的上级没有权利不给下属休息。如果下属的休息权利受到侵犯，可以向相关部门反映情况并寻求法律救济。