工厂不给暑假工资是违法的。暑假工虽然不属于正式的劳动关系，但形成了一般的雇佣劳务关系，劳动者付出劳动后，用人单位有义务支付工资。若遇到这种情况，可以采取以下措施来维权：

1. 与用人单位协商：首先尝试与用人单位沟通，清晰表明自身诉求，要求其支付工资。注意保留好相关聊天记录或谈话录音，以备后续需要。

2. 向劳动监察部门投诉：若协商无果，可以向当地劳动监察大队反映情况，提交能证明工作及应得工资情况的材料，如工作证、考勤记录、工资条等。劳动监察部门会依法对用人单位进行调查处理。

3. 申请劳动仲裁：若协商和投诉均未能解决问题，可以向劳动争议仲裁委员会申请仲裁。需准备好仲裁申请书、身份证明、证据材料等。仲裁委员会会依据事实和法律作出裁决。对仲裁结果不满意的，还可以在规定期限内向法院提起诉讼。

总之，暑假工的工资权益有法律保障，遭遇侵权时应积极维护自身合法权益。如果工厂确实存在不给暑假工资的情况，不要害怕，按照上述步骤来维权，确保自己的合法权益得到保护。