工厂休息日白天扰民，这种行为是违法的。以下从几个角度详细分析这一问题：

一、法律依据

根据《中华人民共和国环境噪声污染防治法》的相关规定，任何单位和个人在噪声敏感建筑物集中区域，不得从事产生环境噪声污染的活动，干扰他人正常生活、工作和学习。工厂作为生产单位，在休息日白天进行可能产生噪声的活动，如果超出了国家规定的噪声排放标准，就构成了环境噪声污染，是违法的。

二、扰民行为的认定

1. 噪声排放标准：国家对于不同区域、不同时间段的噪声排放有明确的标准。工厂在休息日白天产生的噪声，如果超过了这些标准，就可以被认定为扰民。
2. 影响范围：扰民行为不仅限于对直接相邻的居民造成影响，如果噪声传播范围较广，影响了周边多个居民的正常生活，同样构成扰民。
3. 持续时间：如果工厂在休息日白天持续产生噪声，且这种噪声对居民的正常生活造成了持续性的干扰，那么这种行为也更容易被认定为扰民。

三、法律后果

1. 行政处罚：如果工厂在休息日白天扰民，且被相关部门认定为违法，那么工厂可能会面临行政处罚，如罚款、责令停产整顿等。
2. 民事赔偿：如果工厂的扰民行为给周边居民造成了实际损失，如听力受损、精神损害等，居民有权要求工厂进行民事赔偿。
3. 刑事责任：在极端情况下，如果工厂的扰民行为造成了严重的后果，如导致居民健康严重受损或死亡，那么相关责任人员可能会面临刑事责任的追究。

四、建议与措施

1. 与工厂协商：如果居民认为工厂在休息日白天扰民，可以先尝试与工厂进行协商，要求工厂采取措施减少噪声排放。
2. 向相关部门投诉：如果协商无果，居民可以向当地环保部门或城市管理部门投诉，要求相关部门对工厂进行查处。
3. 寻求法律援助：如果居民的权益受到了严重侵害，且无法通过协商或投诉解决问题，可以寻求法律援助，通过法律途径维护自己的合法权益。

综上所述，工厂在休息日白天扰民是违法的行为，居民有权要求工厂停止这种行为，并可以通过法律途径维护自己的合法权益。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。