被精神病骚扰时，不可以直接打他，这样的行为可能构成违法。以下从不同角度对此问题进行详细分析：
一、法律责任角度
民事责任：无论骚扰者是否为精神病人，如果被骚扰者采取暴力手段进行反击，造成骚扰者人身伤害，被骚扰者可能需要承担民事赔偿责任。这是因为，即使骚扰行为本身违法，但以暴制暴并非法律所鼓励的解决方式。
刑事责任：如果被骚扰者的反击行为构成故意伤害等犯罪行为，且情节严重，那么被骚扰者可能需要承担刑事责任。这取决于反击行为的性质、后果以及被骚扰者的主观意图等因素。
二、精神病人法律责任能力角度
完全不负刑事责任的精神病人：如果骚扰者确实为精神病人，且经法定程序鉴定为完全不负刑事责任能力人，那么他们不会因骚扰行为而承担刑事责任。但这并不意味着他们的行为可以被容忍或忽视，其家属或监护人应承担看管和治疗责任。
限制刑事责任能力的精神病人：如果骚扰者属于限制刑事责任能力的精神病人，即他们具有一定的辨认和控制自己行为的能力，但这种能力又受到精神疾病的限制，那么他们可能需要承担一定的刑事责任，但会从轻或减轻处罚。
三、合法应对方式
报警处理：面对精神病骚扰，最合法且有效的方式是立即报警。警方会依法处理，并根据情况采取相应的措施，如将骚扰者带离现场、联系其家属或监护人等。
收集证据：在报警的同时，被骚扰者应尽可能收集相关证据，如现场照片、视频、证人证言等，以便后续维权或诉讼使用。
寻求法律援助：如果骚扰行为给被骚扰者造成了严重的精神或物质损失，被骚扰者可以考虑寻求法律援助，通过法律途径维护自己的合法权益。
四、特殊情况考虑
如果骚扰者正在实施严重的暴力行为，且被骚扰者面临即时的、严重的危险，那么被骚扰者可能需要在紧急情况下采取必要的防卫措施。但这种情况下，防卫行为必须适度，且应尽快报警并说明情况。
建议：面对精神病骚扰时，请保持冷静和理智，不要采取暴力手段进行反击。而是应该通过合法途径来维护自己的权益和安全。如果有任何法律问题或需要进一步的法律建议，请直接向我咨询。