结论：在对方鉴定为轻微伤但无直接证据证明是你打伤的情况下，是否需要赔偿取决于多个因素，包括证据链的完整性、因果关系的证明以及法律责任的判定等，不能一概而论。

一、证据链的完整性

在侵权损害（人格权）案件中，证据是判定责任的关键。如果对方虽然鉴定为轻微伤，但无法提供直接证据（如监控录像、目击者证言、医疗记录等）证明是你打伤的，那么从证据链的角度来看，对方的主张可能难以得到法院的支持。然而，这并不意味着你完全无需承担责任，因为法院在审理案件时，会综合考虑所有相关证据，包括间接证据和逻辑推理。

二、因果关系的证明

除了直接证据外，对方还需要证明其受伤与你之间的行为存在因果关系。如果对方无法证明这一点，那么即使其受伤是事实，你也可能无需承担赔偿责任。例如，如果对方是在其他场合受伤，或者其受伤与你无关的行为导致，那么你就不应该承担赔偿责任。

三、法律责任的判定

1. 如果证据不足：在证据不足的情况下，法院可能无法认定你存在过错，因此你可能无需承担赔偿责任。但需要注意的是，如果对方能够提供其他间接证据（如你与对方发生争执的记录、你曾威胁过对方的证言等），这些证据可能在一定程度上支持对方的主张。

2. 如果证据充分但存在争议：即使对方提供了一定的证据，但如果这些证据存在争议或不足以证明你存在过错，法院也可能无法判定你承担赔偿责任。在这种情况下，你可能需要提供反证来证明自己的清白。

3. 如果法院判定你存在过错：如果法院在综合考虑所有证据后，认为你存在过错并导致了对方的受伤，那么你可能需要承担相应的赔偿责任。这包括医疗费、误工费、护理费等因受伤而产生的合理费用。

四、建议与后续行动

• 收集证据：如果你认为自己可能涉及此类纠纷，建议尽快收集相关证据，如与对方的沟通记录、现场照片或视频等，以备不时之需。
• 咨询专业律师：在涉及法律纠纷时，咨询专业律师是非常重要的。我可以根据你的具体情况，为你提供专业的法律建议和帮助。
• 保持冷静与理性：无论纠纷如何发展，都应保持冷静与理性，避免情绪化的行为导致纠纷进一步升级。

最后，如果你有任何关于侵权损害（人格权）方面的法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供全面、专业的法律建议。