仅双方当事人陈述，在一般情况下，是不可以直接作为处罚依据的，但特定情形下可能构成处罚的间接依据。以下从不同角度为你详细分析：
法律原则与规定角度
在行政处罚领域，遵循“以事实为依据，以法律为准绳”的基本原则。这意味着，行政机关作出处罚决定，必须基于确凿、充分的事实证据。双方当事人的陈述，虽然属于证据的一种形式，但往往具有主观性和片面性。如果仅凭双方当事人的陈述，没有其他客观证据（如物证、书证、视听资料、电子数据、证人证言、鉴定意见、勘验笔录、现场笔录等）予以佐证，那么这些陈述很难单独构成处罚的充分依据。
证据效力与证明力角度
证据效力：双方当事人的陈述，作为言词证据，其效力相对较低。因为言词证据容易受到陈述人主观因素的影响，如记忆错误、表述不清、故意隐瞒或歪曲事实等。因此，在行政处罚程序中，行政机关通常会对双方当事人的陈述进行审慎审查，并结合其他证据进行综合判断。
证明力：即使双方当事人的陈述在内容上相互印证，也不能直接作为处罚的依据。因为相互印证的陈述可能只是双方对同一事实的主观认知，而并非客观事实本身。行政机关需要进一步收集其他客观证据，以验证陈述的真实性和准确性。
特定情形下的例外
虽然一般情况下仅凭双方当事人陈述不能直接处罚，但在某些特定情形下，如果双方当事人的陈述与其他证据相互印证，且能够形成完整的证据链，那么这些陈述可能构成处罚的间接依据。例如：
双方自认：在双方当事人都对某一事实予以自认的情况下，如果这一自认与案件的其他事实相符，且没有相反的证据予以推翻，那么行政机关可以基于这一自认作出处罚决定。但需要注意的是，自认必须在合法、自愿的基础上作出，且不得损害国家、社会或他人的合法权益。
现场目击或即时记录：如果双方当事人的陈述是关于某一即时发生的事件，且该事件有现场目击者或即时记录（如监控录像、录音等）予以佐证，那么这些陈述可能具有更高的证明力。在这种情况下，行政机关可以结合现场目击者的证言或即时记录，对双方当事人的陈述进行综合判断，并据此作出处罚决定。
法律建议与风险提示
收集全面证据：对于行政机关而言，在作出处罚决定前，应尽可能收集全面、客观的证据，以支持处罚决定的合法性和合理性。这包括但不限于物证、书证、视听资料、电子数据、证人证言、鉴定意见等。
审慎审查陈述：对于双方当事人的陈述，行政机关应进行审慎审查，并结合其他证据进行综合判断。如果陈述存在矛盾或不合理之处，应进一步调查核实，以确保处罚决定的准确性。
保障当事人权利：在行政处罚程序中，行政机关应充分保障当事人的陈述、申辩权利。当事人有权对行政机关收集的证据提出异议，并有权提供相反的证据予以反驳。行政机关应认真听取当事人的意见，并在处罚决定中予以充分考虑。
如果你面临涉及行政处罚的具体法律问题，欢迎直接向我咨询，我会结合你的具体情况，为你提供更详细的法律分析和建议。