结论：对方声称“那天打你两耳耳饰不知道怎么回事”这一表述本身并不直接决定其是否犯法，关键在于其行为是否构成对你人格权的侵害以及是否存在过错。若其行为确实导致你受到伤害或精神损害，且对方存在过错，则可能构成违法。
分析：
人格权侵害的认定：
- 人格权是公民的基本权利，包括生命权、身体权、健康权、名誉权、隐私权等。若对方的行为导致你身体受伤或精神受到损害，如造成耳部伤害、听力受损或精神痛苦等，可能构成对你人格权的侵害。
- 在此情况下，即使对方声称“不知道怎么回事”，也不能成为其免责的理由。因为侵害人格权的行为并不以行为人是否意识到其行为的违法性为构成要件，而是以行为是否实际造成损害为判断标准。
过错的认定：
- 过错是侵权责任构成的重要要件之一，包括故意和过失两种形式。若对方故意打你，显然存在过错；若对方因疏忽大意或过于自信而导致你受到伤害，也可能构成过失。
- 在判断对方是否存在过错时，需要综合考虑行为的具体情况、环境因素、行为人的能力等因素。例如，如果对方在争吵中情绪激动而动手，可能构成故意；如果对方在玩耍时不小心碰到你导致受伤，则可能构成过失。
法律后果：
- 若对方的行为构成对你人格权的侵害且存在过错，你有权要求对方承担侵权责任，包括赔偿损失、赔礼道歉等。
- 赔偿损失的范围可能包括医疗费、误工费、精神损害抚慰金等。具体赔偿数额需要根据实际情况和法律规定进行计算。
- 如果对方的行为构成犯罪（如故意伤害罪），还可能面临刑事处罚。
建议：
- 如果你确实受到了伤害或精神损害，建议及时收集相关证据，如医疗记录、证人证言、现场照片或视频等，以证明对方的行为和你的损害结果之间的因果关系。
- 你可以尝试与对方进行协商，要求其承担相应的责任。如果协商无果，你可以向公安机关报案或向人民法院提起诉讼，以维护自己的合法权益。
- 在处理此类纠纷时，建议保持冷静和理性，避免情绪化行为导致纠纷进一步升级。
进一步思考：
- 在日常生活中，我们应该尊重他人的人格权，避免使用暴力或侮辱性语言等行为侵害他人权益。
- 如果遇到类似纠纷，建议及时咨询专业律师或相关机构，以获取更具体的法律建议和帮助。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。