如果装空调时工人掉下去，业主是否负责，需要视具体情况而定。以下是对此问题的详细分析：
业主可能不承担责任的情况：
- 如果业主委托了具有相应资质的单位进行空调安装，并且该单位安排了持有相应《特种作业操作证》的人员上岗作业，同时按照规定对作业人员进行了安全教育培训，并为作业人员配备了必要的劳动防护用品，那么在这种情况下，如果发生意外事故，业主通常不需要承担责任。因为业主已经尽到了合理的注意义务，选择了有资质的安装单位和合格的作业人员。
业主可能需要承担责任的情况：
- 如果业主选择的是没有资质的安装单位或者个人进行空调安装，或者虽然选择了有资质的单位，但该单位在作业过程中违反了安全生产法律及操作规程，导致发生伤亡事故，那么业主可能需要承担一定的责任。这是因为业主在选择安装单位时未尽到审慎义务，或者对安装过程中的安全监管不到位。
- 此外，如果业主在安装空调过程中，对作业现场的安全条件未能提供必要的保障，如未提供稳固的支撑点、未设置安全警示标志等，也可能导致业主需要承担一定的责任。
法律建议：
- 对于业主而言，为避免发生事故并减少潜在的法律风险，建议委托具有相应资质的单位进行空调安装、维修，并确保安装单位安排了持有相应《特种作业操作证》的人员上岗作业。
- 同时，业主应对安装过程进行必要的监管，确保作业过程符合安全生产法律及操作规程的要求。
- 如果发生意外事故，业主应及时与安装单位、作业人员及相关部门进行沟通协商，明确责任划分，并依法承担相应的法律责任。
综上所述，装空调时工人掉下去，业主是否负责需要根据具体情况来判断。业主应尽量选择有资质的安装单位，并对安装过程进行必要的监管，以减少潜在的法律风险。