结论：公安调解时说“打人不对”的录音，本身不能直接作为认定打人行为违法或构成侵权的唯一证据，但可以作为辅助证据使用。以下从不同角度详细分析：
一、录音的法律性质与证据效力
录音作为证据的合法性：
- 根据《中华人民共和国民事诉讼法》及相关司法解释，录音作为证据，只要其取得方式合法（如未侵犯他人隐私、未胁迫等），且内容真实、与案件事实相关，就可以作为证据使用。
- 公安调解时说“打人不对”的录音，如果是在公开场合或双方同意的情况下录制，且内容真实反映了调解过程中的言论，那么该录音在法律上是合法的。
录音的证明力：
- 录音的证明力取决于其内容的真实性、完整性和与案件事实的关联性。
- “打人不对”这一表述，虽然表明了公安对打人行为的否定态度，但并未直接说明打人行为的具体事实、责任归属或损害后果，因此其证明力相对有限。
二、录音在侵权损害（人格权）案件中的作用
辅助证据：
- 在侵权损害（人格权）案件中，录音可以作为辅助证据，用于证明打人行为的存在、双方的态度或调解过程等。
- 但要认定打人行为构成侵权，还需要结合其他证据，如医疗证明、证人证言、现场监控等，来证明打人行为的具体事实、损害后果以及责任归属。
不能单独作为定案依据：
- 由于录音的证明力相对有限，且可能受到录制环境、音质、内容完整性等因素的影响，因此它通常不能单独作为认定打人行为违法或构成侵权的定案依据。
三、建议与注意事项
收集其他证据：
- 如果您认为打人行为构成了对您人格权的侵害，除了录音外，还应积极收集其他相关证据，如医疗证明、证人证言、现场照片或视频等。
- 这些证据将有助于更全面地证明打人行为的事实、损害后果以及责任归属。
咨询专业律师：
- 在处理侵权损害（人格权）案件时，由于涉及复杂的法律问题和证据规则，建议您咨询专业律师的意见。
- 我是张家玺律师，专注于公司事务、劳动纠纷、合同纠纷、侵权纠纷、刑事辩护、婚姻家庭领域，如果您有任何法律问题，可以直接向我咨询。
注意证据的合法性与真实性：
- 在收集证据时，务必确保证据的合法性与真实性。
- 避免使用非法手段获取证据，如窃听、偷拍等，否则这些证据可能被法院排除在外。