施工单位一般不需要对外人到工地跳楼的行为负责，但具体责任需根据实际情况判断。以下从不同角度进行分析：
一、施工单位的安全保障义务
施工单位对工地负有一定的安全保障义务，这主要包括对工地内部人员（如工人、管理人员等）的安全保障。然而，对于外来人员，尤其是未经允许进入工地的人员，施工单位的安全保障义务相对有限。除非施工单位存在明显的安全管理疏漏，如未设置围挡、未安排专人巡逻等，导致外来人员能够轻易进入工地并发生意外，否则施工单位通常不承担因外来人员自身行为导致的责任。
二、外来人员的自身责任
外人到工地跳楼，这一行为本身属于外来人员的自主行为，与施工单位无直接关联。除非有证据表明施工单位的行为（如言语刺激、行为挑衅等）直接导致了外来人员的跳楼行为，否则施工单位不承担责任。在大多数情况下，外来人员因个人原因（如情绪失控、心理问题等）选择跳楼，其责任应由自身承担。
三、可能的例外情况
施工单位存在过错：如果施工单位在安全管理上存在明显疏漏，如未设置明显的警示标志、未采取必要的安全措施等，导致外来人员能够轻易进入工地并发生跳楼等意外，施工单位可能需要承担一定的责任。但这种责任通常限于因施工单位过错导致的部分损失，而非全部责任。
外来人员与施工单位存在某种关系：如果外来人员与施工单位存在某种关系（如雇佣关系、合作关系等），且跳楼行为与这种关系有关，那么施工单位可能需要根据具体情况承担一定的责任。但这种情况相对较少见，且需要具体证据支持。
四、法律建议
加强安全管理：施工单位应加强对工地的安全管理，设置明显的警示标志和围挡，安排专人巡逻，防止外来人员未经允许进入工地。
及时报警并配合调查：如果发生外来人员到工地跳楼等意外事件，施工单位应及时报警并配合相关部门的调查工作。这有助于查明事实真相，明确责任归属。
保留相关证据：施工单位应保留与事件相关的所有证据，如监控录像、巡逻记录、报警记录等。这些证据在后续的责任认定和法律纠纷中可能起到关键作用。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况提供专业的法律意见和解决方案。