结论：在没打着人但对方声称被打，且只有证人没有其他证据的情况下，处罚与否及处罚方式需视具体情况而定，可能涉及治安管理处罚或民事赔偿，也可能因证据不足而不予处罚。以下从多个角度进行分析：
一、治安管理处罚角度
证据要求：
- 根据《中华人民共和国治安管理处罚法》的相关规定，对违反治安管理行为的处罚，必须以事实为依据，与违反治安管理行为的性质、情节以及社会危害程度相当。
- 在处理此类纠纷时，公安机关会综合考量所有证据，包括证人证言、现场监控、伤情鉴定等。若只有证人证言而无其他直接证据（如现场监控、伤情鉴定等）支持对方的主张，则可能因证据不足而不予处罚。
处罚可能性：
- 如果证人证言能够相互印证，且公安机关认为存在足够理由相信对方确实被打了（尽管没有直接的身体伤害证据），可能会根据《治安管理处罚法》的相关规定，对涉嫌殴打他人的行为人进行警告、罚款或行政拘留等处罚。但这种情况较为少见，因为通常需要更直接的证据来支持处罚决定。
- 若证据不足，公安机关可能会作出不予处罚的决定，或者建议双方通过民事途径解决纠纷。
二、民事赔偿角度
举证责任：
- 在民事诉讼中，谁主张谁举证。对方声称被打，需要提供足够的证据来证明其主张，包括但不限于证人证言、医疗记录、现场照片或视频等。
- 若对方仅能提供证人证言而无其他证据支持，其主张可能难以得到法院的支持。
赔偿可能性：
- 如果对方能够提供充分证据证明其确实被打了，并且因此遭受了损失（如医疗费用、误工费等），则有权要求行为人进行民事赔偿。
- 若证据不足，法院可能会驳回对方的诉讼请求，或者根据双方提供的证据情况，酌情判决行为人承担部分或无赔偿责任。
三、实际操作建议
收集证据：
- 如果你认为自己没有打人，应尽可能收集能够证明自己清白的证据，如现场监控、目击者证言（除了对方提供的证人外，寻找其他可能的目击者）、通讯记录等。
- 同时，也可以要求对方提供更充分的证据来支持其主张。
配合调查：
- 在公安机关进行调查时，应积极配合，如实陈述事实，提供相关证据。
- 避免与对方发生冲突或争执，以免加重事态或给自己带来不必要的麻烦。
寻求法律帮助：
- 如果对此事处理有疑问或担忧，可以及时向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。
总结：在没打着人但对方声称被打，且只有证人没有其他证据的情况下，处罚与否及处罚方式需视具体情况而定。建议积极收集证据、配合调查，并在必要时寻求法律帮助以维护自己的合法权益。