休息时间工地扰民的处罚需根据具体违法情形确定，主要涉及行政处罚和民事赔偿两方面。以下结合不同法律角度详细说明：

一、行政处罚：依据《环境噪声污染防治法》和地方性法规

1. 处罚主体：由生态环境主管部门或城市管理综合执法部门（各地分工不同）责令改正，并处以罚款。
   
2. 处罚标准：
   
   • 一般情形：若工地未取得夜间施工许可（通常指22:00至次日6:00），或超过许可范围施工，可处1万元以上10万元以下罚款（《环境噪声污染防治法》第77条）。
     
   • 拒不改正：若责令改正后仍继续违法施工，可按日连续处罚（即每日均可能面临罚款）。
     
3. 特殊情形：
   
   • 高考、中考期间：部分地方性法规规定，此类期间全天禁止施工，违规处罚更重（如北京可处5万元以上20万元以下罚款）。
     
   • 多次违法：若工地一年内因噪声违法被处罚3次以上，可能被责令停工整治。

二、民事赔偿：依据《民法典》侵权责任条款

1. 赔偿范围：
   
   • 若噪声导致居民健康受损（如失眠、耳鸣等），可要求赔偿医疗费、误工费等。
     
   • 若噪声导致房屋价值贬损（如长期无法居住），可要求赔偿财产损失。
     
2. 举证责任：
   
   • 居民需提供证据证明噪声超标（如环保部门监测报告）及损害结果（如医院诊断证明）。
     
   • 若工地能证明噪声未超标或损害与施工无关，则无需赔偿。

三、其他处理方式

1. 投诉渠道：
   
   • 拨打12369环保举报热线或12345市民服务热线，要求环保部门现场检测噪声。
     
   • 向当地住建部门投诉工地违规施工行为。
     
2. 临时救济：
   
   • 若噪声严重影响生活，可向法院申请诉前禁止令，要求工地立即停止施工（需提供初步证据）。

建议行动步骤：

1. 立即录音、录像取证，记录施工时间、噪声分贝（可用手机分贝测试APP辅助）；
   
2. 联系物业或居委会协调，同时向环保部门投诉；
   
3. 若协调无果，可委托律师发送律师函或直接起诉。
   

如有进一步细节（如施工时间、噪声分贝、是否取得许可等），可向我补充说明，我会为您分析具体应对方案。