结论前置：对于你提出的“给工人安排的工作他不干然后受伤我有责任吗”的问题，责任判定需依据具体情况分析，主要考虑工伤认定条件及用人单位的安全管理职责。若工人受伤符合工伤认定条件，即使未按照安排工作，用人单位仍可能需承担责任；若用人单位已尽安全管理职责，且工人受伤非因工作原因，则可能不需承担责任。

详细分析：

1. 工伤认定条件：

   • 根据《工伤保险条例》第十四条，职工有下列情形之一的，应当认定为工伤：在工作时间和工作场所内，因工作原因受到事故伤害的；工作时间前后在工作场所内，从事与工作有关的预备性或者收尾性工作受到事故伤害的；等等。
   • 若工人虽然未按照安排工作，但其受伤发生在工作时间和工作场所内，且与工作有一定的关联性（如因工作场所的安全隐患导致），则仍有可能被认定为工伤，用人单位需承担相应的工伤保险责任。

2. 用人单位的安全管理职责：

   • 用人单位有义务为劳动者提供安全的工作环境，制定并执行安全操作规程，对劳动者进行安全教育和培训。
   • 若用人单位未履行上述职责，导致工人受伤，即使工人未按照安排工作，用人单位也可能因安全管理不善而承担一定的责任。

3. 工人自身责任：

   • 若工人明知或应知存在安全隐患而故意或过失违反安全操作规程，导致自身受伤，那么工人自身也需承担一定的责任。

4. 综合判断：

   • 因此，判断你作为用人单位是否有责任，需综合考虑工伤认定条件、用人单位的安全管理职责以及工人自身的行为等因素。
   • 若工人受伤符合工伤认定条件，或用人单位存在安全管理疏忽，则你作为用人单位可能需承担责任；反之，若工人受伤非因工作原因，且用人单位已尽安全管理职责，则你可能不需承担责任。

法律建议：

• 在处理此类问题时，建议用人单位及时咨询专业律师，了解具体的法律责任和应对策略。
• 同时，用人单位应加强安全管理，制定并执行严格的安全操作规程，为劳动者提供安全的工作环境，以预防类似事故的发生。