夜间施工卸货如果违反了相关规定，确实可能会面临处罚。具体处罚情况会依据不同地区的法律法规有所差异。以《贵州省环境噪声污染防治条例》为例，我来为您详细解释一下。

在该条例中，明确规定了噪声敏感建筑物集中区域禁止在夜间进行产生环境噪声污染的建筑施工作业，但也列出了一些例外情况，如因生产工艺要求或特殊需要必须连续作业的、抢修抢险应急作业的、城市道路公路维修养护作业的，以及因道路交通管制需要在指定时间装卸、运输渣土及其他废弃物的等。

如果您的夜间施工卸货行为不属于这些例外情况，并且违反了条例规定，在噪声敏感建筑物集中区域进行了夜间施工，那么根据《贵州省环境噪声污染防治条例》第五十七条，您可能会由城市管理行政执法部门责令改正，并处以1万元以上5万元以下的罚款。

当然，具体的处罚情况还会受到其他因素的影响，比如施工的具体时间、地点、噪声的大小以及持续时间等。因此，在进行夜间施工卸货之前，我建议您最好先了解当地的相关法律法规，确保您的行为符合规定，避免不必要的处罚。

总的来说，夜间施工卸货如果违反了相关规定，是有可能面临处罚的。为了避免这种情况，我建议您在进行夜间施工之前，先咨询当地的城市管理或环保部门，了解具体的规定和要求，确保您的施工行为合法合规。