关于高空作业责任书是由工人去签还是业主去签的问题，这主要取决于具体的作业情况和合同约定。但一般来说，以下几点可以帮助明确责任书的签署方：
一、业主方的责任
如果你是业主方，即需要高处作业服务的委托方或发包方，你应当：
- 将涉及高处作业的项目发包给具备安全生产条件和相应资质的单位或个人，并严格核查相关人员是否持有特种作业操作证（高处作业）。
- 与高处作业承包单位签订专门的安全生产管理协议，或者在承包合同中明确各自的安全生产管理职责。这意味着，业主方通常需要与承包方就高处作业的安全责任进行明确约定，并可能需要在相关合同或协议中签字确认。
二、施工管理方的责任
如果你是施工管理方，即负责具体执行高处作业的单位或个人，你应当：
- 确保本单位高处作业人员持有特种作业操作证（高处作业）。
- 为高处作业人员提供符合标准的劳动防护用品，并监督、教育其按照规则使用。
- 与高处作业发包单位签订安全生产管理协议或明确各自职责。
- 加强高处作业现场管理，确保操作规程的遵守和安全措施的落实。
在这种情况下，施工管理方通常需要承担高处作业的主要安全责任，并可能需要与业主方签订相关安全协议或责任书，以明确双方的安全责任和义务。这通常意味着施工管理方的负责人或代表需要在责任书上签字。
三、综合考虑
- 合同约定：最重要的是查看具体的合同约定。在高处作业的承包合同中，通常会明确双方的安全责任和义务，包括责任书的签署方。
- 法律法规：根据相关法律法规，如《中华人民共和国安全生产法》和《建设工程安全生产管理条例》，生产经营单位（包括业主方和施工管理方）都有责任确保高处作业的安全，并可能需要签订相关的安全生产管理协议或责任书。
综上所述，高空作业责任书的签署方通常取决于具体的作业情况和合同约定。在大多数情况下，业主方和施工管理方都需要参与并签字确认相关的安全责任和义务。但具体责任应根据实际情况和法律法规进行明确和划分。