结论：是否算私自进入工厂，取决于您进入工厂的具体方式、目的以及工厂的相关规定。以下从不同角度为您详细分析：
如果工厂允许家属探访或陪同：
- 有些工厂出于人性化管理的考虑，会允许员工家属在特定时间（如午休、下班后）或特定区域（如接待室、休息区）进行探访或陪同。
- 在这种情况下，如果您按照工厂的规定，在允许的时间和地点进入，并且得到了工厂的明确许可或陪同人员的同意，那么您的行为通常不被视为私自进入。
如果工厂禁止家属进入或未明确允许：
- 如果工厂有明确的规定禁止员工家属进入工作区域，或者您未获得工厂的明确许可而擅自进入，那么您的行为可能构成私自进入。
- 私自进入工厂可能涉及违反工厂的安全规定、管理秩序等，甚至可能触犯法律（如非法侵入他人场所，但这一情况通常较为严重，需具体情节判断）。在一般情况下，工厂可能会要求您离开，并可能根据内部规定对您或您的妻子进行一定的处理。
关于目的和行为的考量：
- 即使工厂允许家属进入，但如果您进入工厂的目的是为了干扰工作秩序、窃取商业秘密、进行其他违法活动等，那么您的行为仍然可能构成违法或违规。
- 此外，如果您在工厂内未经允许随意走动、触碰设备或干扰其他员工工作，也可能被视为不当行为。
法律建议：
- 在进入工厂之前，最好先了解工厂的相关规定和政策，特别是关于家属探访或陪同的规定。
- 如果您确实需要进入工厂（如接送妻子上下班、参加工厂组织的家属活动等），建议提前与妻子沟通，并尽可能获得工厂的明确许可或陪同。
- 在工厂内，请遵守工厂的规定和秩序，尊重其他员工的工作和隐私，避免进行任何可能干扰工作或违反规定的行为。
可能的法律后果：
- 如果您的行为被认定为私自进入或违反工厂规定，工厂可能会要求您离开，并可能根据内部规定对您或您的妻子进行一定的处理（如警告、罚款等）。
- 在严重情况下（如非法侵入、窃取商业秘密等），您的行为可能触犯法律，面临刑事责任或民事赔偿等法律后果。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。