行政机关不能仅靠单方口诉作出行政处罚决定。以下从不同角度对此问题进行详细分析：
一、法律依据与程序要求
根据《中华人民共和国行政处罚法》的相关规定，行政机关在作出行政处罚决定时，必须遵循法定程序。这包括但不限于：
调查取证：行政机关在作出行政处罚决定前，应当进行充分的调查取证，收集能够证明违法事实的证据。这些证据应当是客观、真实、合法的，且能够形成完整的证据链。
告知权利：行政机关在作出行政处罚决定前，应当告知当事人拟作出的行政处罚内容及事实、理由、依据，并告知当事人依法享有的陈述、申辩、要求听证等权利。
听取陈述申辩：当事人有权进行陈述和申辩，行政机关必须充分听取当事人的意见，并对当事人提出的事实、理由和证据进行复核。当事人提出的事实、理由或者证据成立的，行政机关应当采纳。
作出决定：在充分调查取证、告知权利并听取陈述申辩后，行政机关才能依法作出行政处罚决定。该决定应当以书面形式作出，并载明违法事实、处罚依据、处罚内容、救济途径等事项。
二、单方口诉的合法性分析
单方口诉，即行政机关仅凭自己的陈述或口头说明来作出行政处罚决定，显然不符合上述法定程序要求。具体来说：
缺乏证据支持：单方口诉没有提供客观、真实的证据来支持违法事实的存在，因此无法形成有效的证据链。
剥夺当事人权利：单方口诉没有告知当事人拟作出的行政处罚内容及事实、理由、依据，也没有听取当事人的陈述和申辩，从而剥夺了当事人的合法权益。
违反程序公正：行政处罚决定应当遵循程序公正原则，确保当事人的合法权益得到充分保障。单方口诉显然违反了这一原则。
三、可能的法律后果
如果行政机关仅靠单方口诉作出行政处罚决定，该决定可能会面临以下法律后果：
被撤销或确认违法：根据《中华人民共和国行政诉讼法》的相关规定，如果行政处罚决定违反法定程序，人民法院可以判决撤销或者部分撤销，并可以判决被告重新作出行政行为。同时，如果行政处罚决定明显不当或者其他违法行政行为侵犯其合法权益的，人民法院也可以判决确认违法。
承担赔偿责任：如果因行政机关的违法行政处罚决定给当事人造成损失的，行政机关还应当依法承担赔偿责任。
四、建议与措施
为了避免因单方口诉而引发的法律风险和后果，行政机关在作出行政处罚决定时应当：
严格遵循法定程序：确保调查取证、告知权利、听取陈述申辩等法定程序得到严格执行。
加强证据收集与管理：注重收集客观、真实、合法的证据，并形成完整的证据链来支持违法事实的存在。
提高法律意识与程序意识：加强对行政机关工作人员的法律培训和程序培训，提高其法律意识和程序意识，确保行政处罚决定的合法性和有效性。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。