可以打官司，但能否胜诉需结合具体证据和法律规定综合判断。以下是详细分析：

1. 口头合同的法律效力
   根据《民法典》第469条，口头合同与书面合同具有同等法律效力，只要双方意思表示真实、内容合法，合同即成立并生效。因此，口头合同本身不会因缺乏书面形式而无效，但举证难度较高——您需通过证人证言、录音、聊天记录、付款凭证等证据证明合同存在及具体内容（如交易标的、价格、履行方式等）。

2. “被处罚”的合法性审查
   若对方主张的“处罚”缺乏法律依据或合同约定，您有权拒绝并起诉要求撤销处罚、返还财产或赔偿损失。关键需审查：

   • 处罚依据：对方是否基于行政机关的合法处罚决定（如税务、市场监管部门的罚款）？若为行政处罚，您需先通过行政复议或诉讼挑战处罚决定本身，而非直接起诉对方。
     
   • 合同约定：若“处罚”是对方单方主张的违约金或赔偿，需看合同是否约定相关条款。口头合同中若未明确约定违约责任，对方无权单方处罚，您可主张处罚无效。
     
   • 对方身份：若对方是普通民事主体（如个人、企业），其无权设定“处罚权”，除非基于合同约定或法律规定（如定金罚则）。

3. 诉讼策略建议

   • 证据收集：优先固定口头合同的证据（如录音中明确约定交易细节、对方承认合同存在的聊天记录）。
     
   • 反驳对方主张：若对方以“违约”为由处罚，您需证明自己未违约或对方存在过错（如未履行先合同义务）。
     
   • 反诉或抗辩：可主张对方行为构成欺诈、胁迫或显失公平，要求撤销合同或调整处罚金额。

示例场景：
若您与供应商口头约定采购货物，未约定违约责任，后供应商以“延迟交货”为由扣款，您可起诉要求返还扣款，理由是：口头合同未约定违约责任，对方扣款无法律依据。

行动建议：
立即整理所有与合同相关的证据（如付款记录、沟通记录、证人联系方式），并携带材料向我进一步咨询，我将帮您制定具体诉讼方案。