在行政处罚案件中，仅有违法人的供述和受害人的证人证言，通常不足以作为定案的唯一依据。以下从多个角度对此问题进行分析：
证据的充分性与多样性：
- 根据行政处罚的基本原则，行政机关在作出处罚决定时，必须确保事实清楚、证据确凿。这要求证据不仅要有真实性，还要有充分性和多样性，以形成完整的证据链。
- 违法人的供述和受害人的证人证言虽然都是证据的一种，但它们可能受到各种因素的影响，如记忆偏差、主观感受、利益关系等，因此不能单独作为定案的依据。
证据的审查与认定：
- 行政机关在审查证据时，需要综合考虑证据的来源、内容、形式以及与其他证据的关联性等因素。
- 对于违法人的供述，行政机关需要审查其是否自愿、是否真实反映了违法事实，以及是否有其他证据相佐证。
- 对于受害人的证人证言，行政机关同样需要审查其真实性、可靠性以及是否与其他证据相互印证。
法律程序与要求：
- 根据《中华人民共和国行政处罚法》等相关法律法规的规定，行政机关在作出行政处罚决定前，应当充分听取当事人的陈述和申辩，对当事人提出的事实、理由和证据进行复核。
- 如果仅有违法人的供述和受害人的证人证言，而没有其他客观证据（如物证、书证、视听资料等）相佐证，那么行政机关在作出处罚决定时可能会面临法律上的风险和挑战。
实践中的做法与建议：
- 在实践中，行政机关通常会尽量收集多种类型的证据，以确保处罚决定的合法性和合理性。
- 如果确实只有违法人的供述和受害人的证人证言，行政机关应当谨慎处理，可以进一步调查取证，或者要求当事人提供其他证据来支持其主张。
- 对于当事人而言，如果认为行政机关的处罚决定缺乏充分证据支持，可以依法申请行政复议或提起行政诉讼来维护自己的合法权益。
总结与建议：
- 行政处罚案件需要确保证据的充分性和多样性，不能仅凭违法人的供述和受害人的证人证言就作出处罚决定。
- 行政机关在审查证据时应当严格遵循法律程序和要求，确保处罚决定的合法性和合理性。
- 如果当事人对行政处罚决定有异议，可以依法申请行政复议或提起行政诉讼来维护自己的权益。
如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询。