结论：建筑施工合同中签字人与合同单位没有直接关系，合同是否有效需分情况讨论，不能一概而论。以下从不同角度进行分析：
一、签字人具有代理权的情况
- 法定代理：如果签字人是合同单位的法定代表人，或者依法被授权代表合同单位签署合同的人员（如经过公证的授权委托书授权的代理人），那么即使签字人与合同单位没有直接的雇佣或隶属关系（这种情况较为少见，但理论上存在，比如外部专业人士被特别授权代理），其签署的合同也是有效的。因为法定代表人的行为即视为合同单位的行为，被授权代理人的行为在授权范围内也等同于合同单位的行为。
- 表见代理：在表见代理的情况下，虽然签字人实际上没有代理权，但相对人（即合同另一方）有理由相信签字人有代理权，且这种相信是合理的。例如，签字人长期以合同单位名义对外签署合同，合同单位未提出异议，此时相对人基于这种信赖与签字人签署合同，该合同也可能被认定为有效。这是为了保护相对人的合理信赖利益，维护交易安全。
二、签字人没有代理权的情况
- 无权代理：如果签字人既不是合同单位的法定代表人，也没有得到合同单位的合法授权，那么其签署的合同属于无权代理行为。在这种情况下，合同效力处于待定状态。如果合同单位事后对签字人的行为进行追认，那么合同有效；如果合同单位拒绝追认，那么合同对合同单位不发生效力，由签字人承担相应的法律责任。
- 合同可能因其他原因无效：即使签字人有一定的代理表象，但如果合同本身存在其他导致无效的情形，如违反法律、行政法规的强制性规定，违背公序良俗，以虚假的意思表示实施的民事法律行为等，那么合同也会被认定为无效，与签字人是否与合同单位有直接关系无关。
法律建议
- 对于合同另一方：在签署建筑施工合同时，务必核实签字人的身份和代理权限。可以要求签字人出示相关的身份证明文件和授权委托书，并进行仔细审查。如果对签字人的身份或代理权限存在疑问，可以与合同单位进行直接沟通确认，以避免因签字人无权代理而导致合同效力问题。
- 对于合同单位：应加强对合同签署的管理，明确授权范围和授权程序，避免出现无权代理的情况。如果发现有人未经授权以单位名义签署合同，应及时采取措施，如向相对人发出声明、拒绝追认等，以减少不必要的法律风险。
可能的法律后果：如果因签字人无权代理导致合同无效或对合同单位不发生效力，合同单位可能无需承担合同约定的义务，但可能需要根据过错程度承担一定的赔偿责任。而签字人则可能需要承担因无权代理给相对人造成的损失赔偿责任。因此，在建筑施工合同签署过程中，各方都应谨慎对待签字人的身份和代理权限问题。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会结合具体情况为你提供更详细的法律分析和建议。