结论：单位是否需要承担责任，主要取决于单位是否存在过错以及过错与跌倒骨折之间的因果关系。以下从不同角度进行分析：
一、单位存在过错的情况
设施维护不当：
- 如果单位内的楼梯、地面等公共区域存在安全隐患，如地面湿滑、楼梯扶手损坏等，且单位未及时进行维修或设置警示标志，导致外人在下楼时跌倒骨折，那么单位可能需要承担相应的赔偿责任。
- 法律依据：根据《中华人民共和国民法典》第一千一百九十八条，宾馆、商场、银行、车站、机场、体育场馆、娱乐场所等经营场所、公共场所的经营者、管理者或者群众性活动的组织者，未尽到安全保障义务，造成他人损害的，应当承担侵权责任。
管理疏忽：
- 如果单位在管理上存在疏忽，如未对外来人员进行必要的引导或提示，导致其在单位内发生意外，单位也可能需要承担一定的责任。
- 分析：虽然外来人员并非单位员工，但单位作为公共场所的管理者，仍负有一定的安全保障义务。如果因管理疏忽导致外来人员受伤，单位应承担相应的法律责任。
二、单位不存在过错的情况
外来人员自身原因：
- 如果跌倒骨折是由于外来人员自身原因造成的，如走路不看路、穿高跟鞋下楼不稳等，且单位不存在上述提到的设施维护不当或管理疏忽等情况，那么单位通常不需要承担责任。
- 分析：在这种情况下，外来人员应自行承担其因自身行为导致的后果。
不可抗力或意外事件：
- 如果跌倒骨折是由于不可抗力（如地震、台风等自然灾害）或意外事件（如突然晕倒等）造成的，且单位无法预见、无法避免且无法克服，那么单位也不需要承担责任。
- 法律依据：根据《中华人民共和国民法典》第一百八十条，因不可抗力不能履行民事义务的，不承担民事责任。法律另有规定的，依照其规定。
三、建议与措施
及时救助与报警：
- 如果发生外来人员在单位内跌倒骨折的情况，单位应首先及时救助伤者，并拨打急救电话。同时，可以报警处理，以便警方进行调查并确定责任。
保留证据：
- 单位应保留好现场照片、监控视频等证据，以便在后续处理中证明自身是否存在过错。
协商与诉讼：
- 如果伤者认为单位存在过错并要求赔偿，单位可以与伤者进行协商。如果协商无果，伤者可能会通过法律途径解决纠纷。在这种情况下，单位应积极应对诉讼，并准备好相关证据和法律依据。
总结：单位是否需要对外来人员在单位内跌倒骨折承担责任，取决于单位是否存在过错以及过错与跌倒骨折之间的因果关系。如果单位存在过错且该过错与跌倒骨折之间存在因果关系，那么单位可能需要承担相应的赔偿责任。如果单位不存在过错或过错与跌倒骨折之间不存在因果关系，那么单位通常不需要承担责任。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。