结论前置：
- 一般情况下，早上6点20进行施工可能构成扰民，因为通常认定的“夜间”时间段为晚上二十二点至早上六点，此时间段内禁止进行产生环境噪声污染的建筑施工作业，除非有特殊需要并满足相关条件。
- 具体是否构成扰民还需考虑地方规定及施工性质，部分地区可能有更为严格的噪声污染防治办法，且若施工因特殊需要（如生产工艺要求或抢修抢险等）必须连续作业，并持有相关证明且公告了附近居民，则可能不构成扰民。
法律背景与详细解释：
一般规定：
依据《中华人民共和国环境噪声污染防治法》（2022年修正）第三十条，在城市市区噪声敏感建筑物集中区域内，禁止夜间进行产生环境噪声污染的建筑施工作业。这里的“夜间”一般指的是晚二十二点至晨六点之间的期间。因此，若在早上6点20进行施工，且该施工产生了环境噪声污染，那么很可能构成扰民。
特殊情况：
- 满足条件可夜间施工：若因特殊需要（如生产工艺要求或抢修抢险等）必须连续作业，施工单位需持有县级以上人民政府或其有关主管部门的证明，并在施工前公告附近居民。这种情况下，即使施工在夜间进行，也可能不构成扰民。
- 地方规定差异：部分地区根据当地实际情况，可能制定了更为严格的噪声污染防治办法。例如，某些地区可能规定了更为具体的施工时间限制，或者对夜间施工的噪声标准有更为严格的要求。因此，在判断早上6点20施工是否构成扰民时，还需考虑当地的具体规定。
居民权益保护与投诉途径：
若居民发现施工单位违反夜间施工规定，产生噪声扰民的情况，有权向生态环境主管部门或其他负有噪声污染防治监督管理职责的部门进行投诉、举报。这是维护自身合法权益的有效途径。
法律建议：
对于施工单位：
- 在进行施工前，应充分了解并遵守相关法律法规和地方规定，尽量避免在夜间进行可能产生噪音的施工活动。
- 若因特殊需要必须夜间施工，应确保持有相关证明并公告附近居民，以减轻对居民生活的影响。
对于居民：
- 若发现施工单位违反夜间施工规定，产生噪声扰民，应及时向相关部门投诉、举报。
- 在投诉时，应提供尽可能详细的证据，如施工时间、噪声大小、对生活的影响等，以便相关部门进行调查处理。
可能的法律后果：
- 若施工单位违反夜间施工规定，产生噪声扰民，可能面临生态环境主管部门或其他负有噪声污染防治监督管理职责的部门的处罚，包括罚款、责令停止施工等。
- 若居民因施工单位夜间施工产生的噪声受到损害，如听力下降、睡眠障碍等，还有权要求施工单位承担相应的民事赔偿责任。
综上所述，早上6点20进行施工是否构成扰民，需根据具体情况判断，包括是否产生了环境噪声污染、是否满足特殊需要并持有相关证明且公告了附近居民、以及当地的具体规定等。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。