结论：在对方无证据说你打人的情况下，你无需过于恐慌，但应积极采取措施来维护自己的合法权益。以下是从多个角度为你提供的详细分析和建议。
一、法律角度分析
证据规则：
- 在法律上，证据是认定事实的基础。对方声称你打人，但如果没有证据支持，其主张将难以成立。根据“谁主张，谁举证”的原则，对方需要承担举证责任，即提供足够的证据来证明你实施了打人行为。
法律责任：
- 如果你确实没有打人，那么对方的行为可能构成诬告或诽谤。根据《中华人民共和国刑法》的相关规定，诬告陷害他人或捏造事实诽谤他人，情节严重的，可能构成犯罪，需要承担刑事责任。当然，这需要达到一定的情节严重程度，如造成你名誉严重受损、社会评价降低等。
- 如果对方的行为未达到犯罪程度，但确实对你造成了名誉损害，你还可以依据《中华人民共和国民法典》的相关规定，要求对方承担民事侵权责任，如赔礼道歉、赔偿损失等。
二、应对措施建议
保持冷静，收集证据：
- 首先，保持冷静，不要与对方发生进一步的冲突。同时，积极收集能够证明自己清白的证据，如现场监控录像、目击证人证言、通讯记录等。这些证据将有助于你反驳对方的无端指控。
及时报警，寻求帮助：
- 如果对方持续纠缠或威胁你，或者你认为自己的权益受到了严重侵害，应及时向当地公安机关报案。警方将介入调查，并根据调查结果采取相应的措施。同时，你也可以向警方说明情况，提供你所收集的证据，以协助警方查明事实真相。
考虑法律途径维权：
- 如果对方的行为确实对你造成了损害，且无法通过协商解决，你可以考虑通过法律途径来维护自己的权益。这包括向法院提起民事诉讼，要求对方承担民事侵权责任；或者如果对方的行为构成犯罪，你可以向公安机关报案，要求追究其刑事责任。
三、注意事项
避免自行采取过激行为：
- 在处理此类纠纷时，务必保持冷静和理性，避免自行采取过激行为，如报复、威胁等。这些行为不仅可能使你陷入法律纠纷，还可能加重你的法律责任。
确保证据的合法性和有效性：
- 在收集证据的过程中，要确保手段的合法性，并尽快固定和保存证据，以免失去效力。例如，监控录像应及时调取并保存，目击证人证言应及时记录并请其签字确认等。
及时咨询专业律师（此条根据约束条件调整表述）：
- 如果你在处理此类纠纷时感到困惑或无助，可以直接向我咨询。作为专业律师，我将根据你的具体情况为你提供针对性的法律建议和指导，帮助你更好地维护自己的合法权益。
最后，面对对方无证据说你打人的情况，你无需过于恐慌。通过保持冷静、收集证据、及时报警和考虑法律途径维权等措施，你可以有效地维护自己的合法权益。同时，也提醒你在日常生活中要遵守法律法规，尊重他人权益，避免发生类似的纠纷。