关于不在约定或法定时间内施工是否违法的问题，这需要分情况讨论，具体如下：
若存在合同约定：
- 在建设工程领域，施工时间通常会在施工合同中明确约定。如果承包方未按照合同约定的时间进行施工，这首先构成违约行为。根据《民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，若因不在约定时间内施工给发包方造成损失的，承包方可能需要承担相应的赔偿责任。
若存在法定施工时间限制：
- 除了合同约定外，某些地区或特定情况下，法律、法规或规章可能对施工时间有明确规定，例如禁止在夜间或特定时间段内进行噪音较大的施工活动。如果违反这些法定施工时间限制，施工方可能面临行政处罚，如罚款、责令停工等。同时，如果因违法施工给周边居民或环境造成损害的，还可能需承担民事赔偿责任。
特殊情况下的施工时间调整：
- 在某些特殊情况下，如因不可抗力（如自然灾害、政府行为等）或双方协商一致，施工时间可能需要进行调整。在这种情况下，如果施工方能够证明调整施工时间是出于合理且必要的原因，并且已经采取了合理的措施来减少对他人或环境的影响，那么其可能不承担违法或违约责任。但需要注意的是，即使在这种情况下，施工方也应尽可能提前通知相关方，并协商解决方案。
法律建议：
- 对于施工方而言，应严格遵守合同约定的施工时间以及法定施工时间限制，避免因违法或违约行为而承担不必要的法律责任。
- 如果因特殊情况需要调整施工时间，应及时与发包方、周边居民或相关部门进行沟通协商，并尽可能取得他们的理解和支持。
- 在施工过程中，应采取合理的措施来减少噪音、粉尘等对周边环境的影响，以维护良好的施工秩序和社会环境。
可能法律后果：
- 如果不在约定或法定时间内施工，施工方可能面临违约责任、行政处罚以及民事赔偿责任等法律后果。这些后果不仅可能给施工方带来经济损失，还可能影响其声誉和信誉。
如有更多关于建设工程领域的法律问题，欢迎直接向我咨询。