结论前置：不给环卫工人发高温费是违法的。以下从多个角度进行分析说明：

法律背景与规定

根据《防暑降温措施管理办法》第十七条，劳动者从事高温作业的，依法享受岗位津贴。用人单位安排劳动者在35℃以上高温天气从事室外露天作业以及不能采取有效措施将工作场所温度降低到33℃以下的，应当向劳动者发放高温津贴，并纳入工资总额。环卫工人通常需要在室外进行工作，且在夏季高温时段也难以避免在高温环境下作业，因此他们属于应当享受高温津贴的劳动者群体。

违法后果

如果用人单位不给环卫工人发放高温费，将面临以下法律后果：

1. 行政处罚：劳动保障行政部门有权对用人单位进行监督检查，并责令其限期改正。如果用人单位逾期未改正，劳动保障行政部门可能会对其处以罚款等行政处罚。
2. 民事赔偿：环卫工人有权向用人单位主张高温津贴，如果用人单位拒绝支付，环卫工人可以通过劳动争议仲裁或诉讼等途径维护自己的合法权益，要求用人单位支付拖欠的高温津贴及可能产生的经济补偿。

实际操作建议

1. 收集证据：环卫工人在主张高温津贴时，应尽可能收集相关证据，如工作记录、高温天气证明、与用人单位的沟通记录等，以证明自己在高温环境下工作的事实。
2. 与用人单位协商：在收集到足够证据后，环卫工人可以先尝试与用人单位进行协商，要求其支付拖欠的高温津贴。
3. 寻求法律援助：如果协商无果，环卫工人可以向当地的劳动保障行政部门投诉，或者寻求法律援助机构的帮助，通过劳动争议仲裁或诉讼等途径维护自己的合法权益。

特殊情况说明

虽然一般情况下不给环卫工人发高温费是违法的，但也存在一些特殊情况。例如，如果环卫工人与用人单位在劳动合同中明确约定了不发放高温津贴，且该约定不违反法律法规的强制性规定，那么在这种情况下，用人单位可能不构成违法。然而，这种约定在实际操作中较为罕见，且往往难以得到法律的支持和认可。因为高温津贴是劳动者的法定权益，用人单位不能通过合同约定来剥夺。

总结与建议：不给环卫工人发高温费是违法的，用人单位应当依法向环卫工人支付高温津贴。如果环卫工人遇到用人单位拒绝支付高温津贴的情况，应当积极收集证据，与用人单位协商，并寻求法律援助机构的帮助，以维护自己的合法权益。如果你还有其他关于劳动工伤（工资福利）方面的问题，可以直接向我咨询。