结论前置：在仅凭证人证言，且没有其他证据佐证的情况下，一般不能直接对未实际打人的一方进行处罚。不过，具体是否处罚还需结合证人证言的证明力、案件其他情况以及相关法律规定来综合判断。
详细分析如下：
证人证言的证明力：
- 证人证言是民事诉讼和行政处罚中常见的证据类型之一，但其证明力并非绝对。根据《中华人民共和国民事诉讼法》及相关司法解释，证人应当出庭作证，接受当事人的质询，且证人证言应当与其他证据相互印证，才能形成完整的证据链。
- 在仅凭证人证言，且没有其他直接证据（如视频监控、伤情鉴定等）佐证的情况下，证人证言的证明力会相对较弱。如果证人证言存在矛盾、不合理之处，或者证人本身与案件有利害关系，其证言的证明力可能会进一步降低。
案件其他情况：
- 除了证人证言外，还需要考虑案件的其他情况，如双方当事人的陈述、现场环境、是否有其他目击者等。这些因素都可能对案件的认定产生影响。
- 如果对方声称被打，但并未提供伤情鉴定或其他医疗证明，且现场没有留下明显的打斗痕迹，那么仅凭证人证言就认定打人事实存在，显然是不够充分的。
相关法律规定：
- 根据《中华人民共和国治安管理处罚法》等相关法律规定，对于违反治安管理的行为，应当有确凿的证据证明。如果证据不足，或者证据之间存在矛盾，不能形成完整的证据链，那么就不能对当事人进行处罚。
- 在民事侵权纠纷中，同样需要遵循“谁主张、谁举证”的原则。如果对方主张你打人，但未能提供充分的证据证明，那么其主张可能不会被法院或相关机构采纳。
法律建议：
- 如果你确实没有打人，且对方仅凭证人证言指控你，你可以积极收集证据来证明自己的清白。例如，寻找现场的其他目击者、调取现场的监控视频等。
- 如果对方已经向公安机关报案或向法院提起诉讼，你可以及时咨询专业律师，了解自己的权利和义务，并准备相应的应诉材料。
- 在处理此类纠纷时，保持冷静和理性至关重要。不要因为情绪激动而做出过激的行为或言论，以免给自己带来不必要的麻烦。
可能后果：
- 如果最终认定你并未打人，那么对方将无法获得相应的赔偿或处罚。同时，如果对方存在诬告陷害的行为，你还可能依法追究其法律责任。
- 如果由于证据不足或其他原因，导致无法完全证明你未打人，那么可能会面临一定的法律风险。但这种情况相对较少，且通常可以通过进一步的法律程序来澄清事实。
总之，在处理此类侵权纠纷时，应当遵循法律程序，积极收集证据，维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。