结论：房主不在家时工人擅自施工是否违法，需根据具体情况判断，可能涉及侵权、违约或违反治安管理规定等法律责任。以下从不同角度详细分析：
一、从侵权责任角度分析
若工人擅自施工造成房主财产损失：
- 根据《中华人民共和国民法典》第一千一百六十五条：“行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。”
- 若工人未经房主同意擅自施工，且施工过程中因过失或故意造成房主财产损失（如损坏房屋结构、家具等），则工人需承担侵权责任，赔偿房主因此遭受的损失。
若工人擅自施工未造成财产损失，但侵犯房主隐私或安宁权：
- 房主对其住宅享有隐私权和安宁权，未经房主同意，他人不得擅自进入或进行施工活动。
- 若工人擅自施工虽未造成直接财产损失，但侵犯了房主的隐私或安宁权（如噪音扰民、窥探房主隐私等），房主有权要求工人停止侵害、排除妨碍，并可能根据具体情况要求赔偿精神损失等。
二、从合同关系角度分析
若工人与房主存在施工合同关系：
- 根据《中华人民共和国民法典》第五百七十七条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”
- 若工人与房主签订了施工合同，但工人未经房主同意擅自施工，违反了合同约定的施工程序或时间等，则工人构成违约，需承担违约责任，如赔偿房主因此遭受的损失、支付违约金等。
若工人与房主不存在施工合同关系：
- 若工人未经房主同意擅自进入房主住宅进行施工，且双方之间不存在任何合同关系，则工人的行为可能构成非法侵入住宅或盗窃等违法行为（若同时窃取房主财物），需承担相应的刑事责任或行政责任。
三、从治安管理角度分析
- 根据《中华人民共和国治安管理处罚法》第四十条：“有下列行为之一的，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款；情节较轻的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款：……（三）非法限制他人人身自由、非法侵入他人住宅或者非法搜查他人身体的。”
- 若工人未经房主同意擅自进入房主住宅进行施工，且情节严重（如强行进入、拒不退出等），则可能构成非法侵入住宅的违法行为，需承担相应的行政责任。
法律建议
房主角度：
- 若发现工人擅自施工，应立即制止并要求其离开现场。
- 收集相关证据（如现场照片、视频、证人证言等），以便后续维权。
- 根据损失情况或侵权情节，选择向工人主张侵权责任、违约责任或向公安机关报案。
工人角度：
- 未经房主同意，不得擅自进入房主住宅或进行施工活动。
- 若需进入房主住宅施工，应事先与房主沟通并取得同意，签订施工合同并明确双方权利义务。
- 施工过程中应遵守相关法律法规和施工规范，确保施工安全和房主财产安全。
如有具体法律问题或需要进一步帮助，请直接向我咨询。