针对您在工地干活骨折却无法认定工伤，也无法走人身损害赔偿，且工地不管不问的情况，您可以按照以下步骤进行维权：
再次确认工伤认定情况：
- 首先，您需要确认为何无法认定工伤。通常，工伤认定需要满足在工作时间、工作场所内因工作原因受到事故伤害的条件。如果初次认定未通过，您可以考虑申请重新认定或提起行政复议。
- 收集并保存所有与工伤相关的证据，如医疗记录、工作证明、同事证言等，以备重新认定或复议时使用。
探索其他法律途径：
- 如果确实无法认定工伤：您可以考虑依据《民法典》中关于侵权责任的规定，尝试证明工地存在过错（如未提供安全的工作环境、未进行必要的安全培训等），从而要求工地承担侵权责任。这通常需要您提供充分的证据来证明工地的过错与您的受伤之间存在因果关系。
- 收集证据：包括但不限于现场照片、视频、证人证言、医疗记录等，以证明工地存在过错且该过错导致了您的受伤。
向相关部门投诉或举报：
- 如果工地存在违反安全生产规定、未支付劳动报酬等违法行为，您可以向当地的安全生产监督管理部门、劳动监察部门等投诉或举报。
- 这些部门有权对工地的违法行为进行调查，并可以要求工地承担相应的法律责任。
考虑法律诉讼：
- 如果通过上述途径仍无法解决问题，您可以考虑向法院提起民事诉讼，要求工地赔偿您的损失。
- 在提起诉讼前，建议您咨询专业律师，评估案件的胜诉可能性及可能获得的赔偿金额。
- 准备充分的证据材料，包括但不限于医疗记录、工作证明、证人证言、损失计算清单等。
寻求法律援助或社会支持：
- 如果您经济困难，无法承担律师费用，可以向当地的法律援助机构申请法律援助。
- 同时，您也可以寻求工会、媒体等社会力量的支持，提高问题的关注度，促使工地积极解决问题。
在维权过程中，您需要注意以下几点：
- 保持冷静和理性，避免采取过激行为。
- 及时收集和保存所有与案件相关的证据。
- 遵循法律程序，不要擅自采取非法手段进行维权。
- 如有需要，及时咨询专业律师，获取专业的法律建议。
希望这些建议能对您有所帮助。如果您在维权过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。