损害劳动者健康，有权处以处罚的主体主要取决于具体的违法情形和损害后果，一般包括劳动行政部门、卫生行政部门以及公安机关等。以下从不同角度进行详细分析：
劳动行政部门：
- 根据《中华人民共和国劳动法》及相关规定，劳动行政部门负责监督用人单位遵守劳动法律、法规的情况，保护劳动者的合法权益。如果用人单位存在违反劳动安全卫生规定，损害劳动者健康的行为，劳动行政部门有权进行查处，并可以依法给予警告、罚款等行政处罚。
卫生行政部门：
- 卫生行政部门在职业病防治方面扮演着重要角色。如果用人单位的工作环境或工作条件不符合国家卫生标准，导致劳动者患上职业病或健康受到损害，卫生行政部门有权进行调查处理，并可以依法对用人单位进行处罚，包括责令限期改正、罚款等。
公安机关：
- 在某些极端情况下，如果用人单位的行为构成犯罪，如故意伤害劳动者身体等，公安机关将介入调查，并依法追究用人单位或相关责任人的刑事责任。此外，如果用人单位的行为违反了治安管理处罚法，如殴打、侮辱劳动者等，公安机关也有权进行处罚。
其他相关部门：
- 根据具体情况，还可能涉及其他相关部门，如安全生产监督管理部门、环境保护部门等。这些部门在各自职责范围内，对用人单位的违法行为进行查处，并保护劳动者的健康权益。
法律建议：
- 如果您或您身边的劳动者健康受到损害，首先应当及时就医并保留好相关医疗证据。
- 接着，可以向当地的劳动行政部门、卫生行政部门或公安机关等部门进行投诉或举报，要求他们依法进行调查处理。
- 在处理过程中，如果遇到法律难题或需要进一步的法律帮助，可以直接向我咨询，我将根据您的具体情况提供专业的法律意见和帮助。
可能法律后果：
- 用人单位如果违反劳动安全卫生规定或职业病防治规定，损害劳动者健康，将可能面临行政处罚、民事赔偿甚至刑事责任等法律后果。
- 劳动者如果因用人单位的违法行为而健康受损，有权依法获得赔偿，并可以要求相关部门对用人单位进行处罚。
希望以上分析能对您有所帮助。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。