结论：是否需要承担责任，需根据具体情况判断，主要看骨折是否与工作有关以及是否存在法律上的因果关系。
分析：
因果关系判断：
- 若骨折与工作无关：如果打工人离开工地两天后发生的骨折，经调查确认与工地工作无直接关联（例如，是在家中不慎摔倒导致），那么通常情况下，雇主或工地方面不需要承担责任。因为这种情况下，骨折并非工作过程中或因工作原因导致，不符合工伤的认定条件。
- 若骨折与工作有关：如果能够证明骨折是在工地工作过程中或因工作原因（如工作强度过大、工作环境不安全等）导致的，即使是在离开工地两天后才显现出来，也有可能被认定为工伤。此时，根据《工伤保险条例》等相关法律法规，雇主或工地方面可能需要承担相应的工伤赔偿责任。
法律程序与证据收集：
- 工伤认定：若怀疑骨折与工作有关，打工人或其家属应及时向当地劳动保障部门申请工伤认定。工伤认定是确定是否享受工伤保险待遇的前提。
- 证据收集：在申请工伤认定过程中，需要提供充分的证据来证明骨折与工作之间的因果关系。这可能包括医疗记录、工作记录、证人证言等。证据的充分性和真实性对于工伤认定的结果至关重要。
责任承担与赔偿：
- 若认定为工伤：一旦骨折被认定为工伤，雇主或工地方面就需要按照相关法律法规的规定，承担工伤赔偿责任。这包括支付医疗费用、停工留薪期间的工资福利、一次性伤残补助金等。
- 若未认定为工伤：如果骨折未被认定为工伤，那么打工人可能需要通过其他途径（如医疗保险、个人储蓄等）来承担医疗费用和相关损失。
建议：
- 及时行动：如果打工人或其家属认为骨折可能与工作有关，应尽快向当地劳动保障部门申请工伤认定，并收集相关证据。
- 咨询专业律师：在处理此类问题时，咨询专业律师的意见是非常重要的。律师可以提供法律上的指导和帮助，确保打工人的权益得到妥善保护。
- 关注身体健康：无论骨折是否与工作有关，打工人都应关注自己的身体健康状况，及时就医并遵循医嘱进行治疗和康复。
后续思考：在处理此类工伤赔偿问题时，还需要考虑其他可能的影响因素，如保险条款、合同约定等。因此，在具体操作中，建议打工人或其家属在咨询专业律师的同时，也仔细审查相关保险合同和劳动合同等文件。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。