结论：在老板将你留在工地上但未安排工作，而你因此受伤的情况下，责任划分需根据具体情况来确定，可能涉及老板（或公司）、实际管理人等多方主体。以下是对此问题的详细分析：
一、老板（或公司）的责任
用工主体责任：
- 如果老板是具备用工主体资格的单位（如公司）的法定代表人或负责人，且你与该单位存在劳动关系，那么根据《工伤保险条例》等相关规定，单位应承担工伤保险责任。这意味着，如果你在工地上因非个人原因（如工地设施问题、他人操作不当等）受伤，单位应负责你的工伤赔偿。
- 法律依据：《工伤保险条例》第十四条规定，职工在工作时间和工作场所内，因工作原因受到事故伤害的，应当认定为工伤。即使你未实际从事工作，但只要处于工作场所且受伤与工作有关（如准备工具、等待任务等），也可能被认定为工伤。
安全管理责任：
- 老板作为工作场所的管理者，有义务提供安全的工作环境并采取必要的安全措施。如果因工地安全管理不善导致你受伤，老板可能需承担相应的赔偿责任。
- 实际案例：在类似情况下，法院可能会考虑老板是否尽到了安全管理义务，如是否设置了安全警示标志、是否提供了必要的安全防护设备等。
二、实际管理人的责任
- 如果工地上有实际的管理人（如包工头、现场负责人等），且该管理人未尽到安全管理义务导致你受伤，那么该管理人也可能需承担赔偿责任。
- 法律依据与连带责任：根据《民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。如果实际管理人存在过错（如未设置安全警示、未提供安全防护等），则需与你或老板共同承担赔偿责任。
三、其他可能责任方
- 第三方责任：如果受伤是由第三方（如其他工人、设备供应商等）的过错导致的，那么该第三方也可能需承担赔偿责任。
- 自身责任：如果你自身存在过错（如故意违反安全规定、未使用安全防护设备等），则可能需承担部分或全部责任。但这种情况在“被留在工地未干活”的情境下较为少见。
四、建议与后续行动
- 及时报告与就医：无论责任如何划分，你应首先及时向老板或公司报告受伤情况，并尽快就医治疗。保留好相关医疗记录和费用单据。
- 收集证据：尽可能收集与受伤相关的证据，如现场照片、证人证言、安全记录等。这些证据将有助于后续的责任认定和赔偿协商。
- 协商与调解：尝试与老板或公司进行协商，看是否能就赔偿事宜达成一致。如果协商无果，可以考虑通过劳动调解委员会或法院进行调解或诉讼。
- 法律咨询：在整个过程中，如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况提供专业的法律建议。
总结：在老板将你留在工地上但未安排工作，而你因此受伤的情况下，责任划分需根据具体情况来确定。可能涉及老板（或公司）、实际管理人等多方主体。建议你及时报告、就医并收集证据，同时尝试与老板或公司进行协商。如有需要，可以随时向我咨询以获取更专业的法律帮助。