结论：拒绝加班并不意味着可以直接走人，具体是否可以离开需根据加班的性质、劳动合同的约定以及公司的规章制度等多方面因素来综合判断。

分析如下：

1. 加班的性质与法律规定：

   • 根据《劳动法》的相关规定，加班通常分为三种情况：工作日延长工作时间、休息日安排工作以及法定节假日安排工作。对于这三种情况，法律都规定了相应的加班费支付标准，并且强调了加班应当遵循自愿原则，除非存在特殊情况（如自然灾害、事故等威胁劳动者生命健康和财产安全，需要紧急处理的；生产设备、交通运输线路、公共设施发生故障，影响生产和公众利益，必须及时抢修的等），否则用人单位不得强迫劳动者加班。

2. 劳动合同与规章制度：

   • 劳动合同是劳动者与用人单位之间确立劳动关系、明确双方权利和义务的协议。如果劳动合同中明确规定了加班的相关条款，如加班的审批流程、加班费的支付方式等，那么劳动者在拒绝加班时，应当遵循这些条款。
   • 同时，公司的规章制度也是劳动者需要遵守的。如果规章制度中规定了加班的相关要求，劳动者在拒绝加班前，也应当了解并考虑这些要求。

3. 直接走人的法律后果：

   • 如果劳动者在未经允许的情况下直接拒绝加班并离开工作岗位，这可能构成旷工或违反公司规章制度的行为。根据《劳动合同法》的相关规定，用人单位有权对旷工或违反规章制度的劳动者进行纪律处分，甚至解除劳动合同。
   • 此外，如果劳动者的行为给用人单位造成了损失，用人单位还有权要求劳动者承担赔偿责任。

4. 建议做法：

   • 如果劳动者确实不愿意加班，建议首先与用人单位进行沟通，说明自己的情况和理由，争取得到用人单位的理解和支持。
   • 如果沟通无果，劳动者可以依据劳动合同和规章制度的相关规定，通过合法途径维护自己的权益，如向劳动监察部门投诉、申请劳动仲裁等。

特殊情况说明：

• 在某些特殊情况下，如劳动者面临紧急情况或个人健康问题等，确实无法加班的，应当及时向用人单位说明情况，并提供相关证明。在这种情况下，用人单位通常应当给予理解和支持，并安排其他人员替代加班。

总结：拒绝加班并不意味着可以直接走人。劳动者在拒绝加班前，应当了解加班的性质、劳动合同的约定以及公司的规章制度等相关要求，并通过合法途径维护自己的权益。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。