在行政处罚案件中，仅有违法人的供述和受害人的证言，通常是不够的，不能单独作为定案的依据。以下是从多个角度进行的详细分析：

1. 证据的充分性：

   • 行政处罚案件需要确凿的证据来支持处罚决定的合法性。违法人的供述和受害人的证言虽然都是证据的一种，但它们可能受到各种因素的影响，如记忆偏差、主观感受、利益关系等，因此单独依靠这两种证据往往难以确保案件的公正处理。
   • 根据一般的法律原则，证据应当具有客观性、关联性和合法性。违法人的供述和受害人的证言需要与其他证据相互印证，形成完整的证据链，才能作为定案的依据。

2. 证据的多样性：

   • 在行政处罚案件中，除了违法人的供述和受害人的证言外，还可以收集其他类型的证据，如物证、书证、视听资料、电子数据、证人证言（除受害人外的其他证人）、鉴定意见、勘验笔录、现场笔录等。
   • 这些证据可以提供更全面、更客观的信息，有助于查明案件事实，确保处罚决定的准确性和公正性。

3. 法律程序的要求：

   • 行政处罚案件需要遵循严格的法律程序，包括调查取证、审查决定、送达执行等环节。在调查取证阶段，行政机关应当全面、客观、公正地收集证据，不得偏听偏信。
   • 如果仅有违法人的供述和受害人的证言，而没有其他证据支持，那么行政机关在作出处罚决定时可能会面临法律风险，如被撤销或变更处罚决定等。

4. 实践中的考量：

   • 在实践中，行政机关在处理行政处罚案件时，通常会综合考虑各种证据，包括违法人的供述、受害人的证言以及其他相关证据。只有当所有证据相互印证，形成完整的证据链时，行政机关才会依法作出处罚决定。
   • 如果证据不足或存在矛盾，行政机关可能会要求进一步调查取证，或者根据现有证据作出不利于违法人的推定（但这种推定需要符合法律原则和规定）。

建议：

• 对于行政机关而言，在处理行政处罚案件时，应当全面、客观、公正地收集证据，确保证据的充分性和多样性。
• 对于违法人或受害人而言，如果认为行政机关的处罚决定不合法或不合理，可以依法申请行政复议或提起行政诉讼，维护自己的合法权益。

如果您在行政处罚案件中遇到任何问题或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。