核心结论：在对方一直声称“你打我”并实际实施了击打行为但未造成明显伤害的情况下，赔偿问题需结合具体情节、证据及法律规定综合判断。以下分情况说明：

1. 若行为构成治安违法（如轻微殴打）

• 法律依据：根据《治安管理处罚法》第43条，殴打他人或故意伤害他人身体的，即使未造成明显伤害（如无红肿、淤青、骨折等），仍可能被处以5日以下拘留或500元以下罚款；情节较轻的（如首次、未造成后果），可能被处警告或200元以下罚款。
• 赔偿范围：若对方主张赔偿，需证明实际损失（如医疗费、误工费等）。若未产生医疗费用或误工损失，赔偿请求可能缺乏依据；但若对方因事件产生合理交通费、心理咨询费等，可能需酌情支持。
• 建议：若对方报警，公安机关会调查事实并作出处罚决定；若对方提起民事诉讼，需由其举证损失存在。

2. 若行为不构成治安违法（如推搡、轻微拉扯）

• 法律依据：若行为未达到“殴打”程度（如未使用工具、未造成疼痛或恐惧），可能不构成治安违法，但可能违反《民法典》中关于人格权保护的规定（如第1010条禁止侮辱、诽谤）。
• 赔偿范围：若对方主张精神损害赔偿，需证明行为导致其严重精神痛苦（如长期失眠、焦虑等），且需法院认定行为与损害结果存在因果关系。实践中，此类赔偿请求较难支持，除非行为恶劣（如当众辱骂、持续骚扰）。
• 建议：若对方无实质损失，可拒绝赔偿；若对方纠缠，可保留证据（如录音、视频、证人证言）以备维权。

3. 若对方存在“碰瓷”或诬告情形

• 法律依据：若对方故意制造虚假事实（如自伤后诬陷你），可能涉嫌《治安管理处罚法》第42条的诬告陷害或《刑法》第243条的诬告陷害罪（需情节严重）。
• 应对建议：立即固定证据（如现场监控、目击者联系方式），向公安机关报案或通过民事诉讼主张对方侵权（如名誉权损害）。

4. 实务建议

• 保留证据：无论是否赔偿，均需保存现场照片、视频、聊天记录、医疗记录等，以证明事实经过。
• 协商解决：若对方要求合理且你愿意和解，可签订书面协议明确赔偿金额及责任免除，避免后续纠纷。
• 法律程序：若协商无果，可等待对方起诉或反诉对方侵权，由法院根据证据裁判。

总结：赔偿与否需结合行为性质、对方损失及证据情况判断。若对方无实质损失或证据不足，无需赔偿；若构成违法或侵权，可能需承担行政责任或民事赔偿责任。建议根据具体情况选择协商或法律途径解决，并始终以证据为基础维护权益。