行政处罚中，若违法所得仅有口述而无实质性证据，一般不能直接没收违法所得。以下从不同角度对此问题进行详细分析：

一、法律原则与证据要求

1. 法定原则：行政处罚必须遵循法定原则，即行政机关在实施处罚时，必须依据法律、法规的规定进行。对于违法所得的没收，同样需要依据明确的法律规定。

2. 证据充分原则：在行政处罚中，证据是认定违法事实和确定处罚种类、幅度的关键。根据《行政处罚法》等相关法律法规，行政机关在作出行政处罚决定前，必须收集充分的证据来证明违法事实的存在。若仅有口述而无实质性证据，则无法满足证据充分的要求。

二、违法所得没收的实质性证据要求

1. 实质性证据的定义：实质性证据通常指的是能够直接证明违法事实存在、违法所得数额以及违法所得与违法行为之间因果关系的证据。这些证据可能包括书证、物证、视听资料、电子数据、证人证言、鉴定意见等。

2. 口述证据的局限性：口述证据，即当事人的陈述或证人的证言，虽然在一定程度上可以反映违法事实，但其证明力相对较弱。因为口述证据可能受到陈述人记忆、理解、表达等多种因素的影响，且容易受到主观因素的干扰。因此，在仅有口述证据的情况下，行政机关通常无法直接认定违法所得的存在和数额。

三、行政机关的应对措施

1. 进一步调查取证：若行政机关认为存在违法所得但仅有口述证据，应当进一步开展调查取证工作，以收集更多实质性证据。这可能包括对相关场所、物品、资金等进行查封、扣押、冻结等措施，以及对相关人员进行询问、调查等。

2. 依法作出处理：在收集到充分证据后，行政机关应当根据违法事实的性质、情节以及社会危害程度等因素，依法作出相应的行政处罚决定。若证据不足或无法证明违法所得的存在和数额，则行政机关不得随意没收违法所得。

四、法律后果与风险提示

1. 违法没收的风险：若行政机关在仅有口述证据的情况下没收违法所得，可能面临被复议机关或法院撤销处罚决定的风险。因为这种做法违反了证据充分原则，损害了当事人的合法权益。

2. 当事人的救济途径：若当事人认为行政机关的没收决定违法或不当，可以依法申请行政复议或提起行政诉讼来维护自己的合法权益。在复议或诉讼过程中，当事人可以提供相关证据来证明自己的主张，并要求复议机关或法院对行政机关的处罚决定进行审查。

建议：作为当事人，若面临行政机关拟没收违法所得的情况，且认为仅有口述证据而无实质性证据支持时，可以积极向行政机关提出异议，并要求其提供充分证据来证明违法所得的存在和数额。同时，也可以考虑咨询专业律师以获取更具体的法律建议和帮助。有问题可以直接向我咨询。