在行政处罚案件中，如果当事人不承认自己的行为，仅有举报人的视频，一般不能直接作为处罚决定的唯一依据。以下从不同角度对此问题进行详细分析：

一、行政处罚的证据要求

根据《中华人民共和国行政处罚法》及相关规定，行政机关在作出行政处罚决定时，必须确保事实清楚、证据确凿。证据应当具有合法性、真实性和关联性，能够充分证明当事人的违法行为。举报人的视频作为证据之一，虽然可能具有一定的证明力，但通常不足以单独作为处罚决定的依据。

二、视频证据的局限性

1. 真实性存疑：视频证据可能存在剪辑、伪造或误认等情况，其真实性需要进一步核实。行政机关在采纳视频证据时，应当对其来源、制作过程、内容真实性等进行严格审查。
2. 关联性不足：视频证据可能仅展示了部分场景或行为，无法全面反映案件事实。例如，视频可能只记录了当事人的某个动作或表情，但无法证明其具有违法意图或造成了违法后果。
3. 证明力有限：视频证据通常需要与其他证据相互印证，才能形成完整的证据链。如果仅有视频证据，而缺乏其他直接或间接证据的支持，其证明力将大打折扣。

三、行政处罚决定的作出程序

行政机关在作出行政处罚决定时，应当遵循法定程序，包括调查取证、告知权利、听取陈述申辩、作出决定等环节。在调查取证阶段，行政机关应当全面收集证据，包括当事人陈述、证人证言、物证、书证、视听资料等。如果仅有举报人的视频，而缺乏其他证据的支持，行政机关通常无法直接作出处罚决定。

四、可能的法律后果

如果行政机关仅凭举报人的视频就作出处罚决定，而当事人对此提出异议并提起行政复议或行政诉讼，那么该处罚决定很可能因证据不足而被撤销或变更。此外，行政机关还可能因程序违法而承担相应的法律责任。

五、建议与措施

1. 全面收集证据：行政机关在调查取证时，应当尽可能全面地收集证据，包括当事人陈述、证人证言、物证、书证等，以形成完整的证据链。
2. 严格审查证据：行政机关在采纳证据时，应当对其真实性、合法性和关联性进行严格审查，确保证据的可靠性和证明力。
3. 遵循法定程序：行政机关在作出行政处罚决定时，应当遵循法定程序，确保当事人的合法权益得到保障。

如果有相关法律问题，可以直接向我咨询。我将根据您的具体情况，提供更为详细和专业的法律建议。