结论：逾期罚息过高时，借款人并非完全可以不还，但可以通过法律途径主张调整罚息金额，具体需分情况讨论。以下是详细分析：

1. 法律对罚息上限的明确规定

根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》及《中国人民银行关于人民币贷款利率有关问题的通知》，罚息利率需遵循以下原则：

• 民间借贷：罚息利率不得超过合同成立时一年期贷款市场报价利率（LPR）的4倍。超出部分，法院不予支持。
• 金融机构贷款：罚息利率通常由合同约定，但不得违反中国人民银行规定的上限（如逾期贷款罚息利率可在借款合同载明的贷款利率水平上加收30%-50%）。若合同约定明显过高，法院可能根据公平原则调整。

行动建议：
若罚息超过法定上限，可收集合同、还款记录等证据，向法院起诉要求调整罚息金额，或与贷款方协商降低罚息。

2. 合同自由与公平原则的平衡

即使合同约定了罚息，若存在以下情形，法院可能支持调整：

• 显失公平：如罚息远高于贷款方实际损失（如资金成本、管理费用等）。
• 格式条款无效：若罚息条款属于贷款方单方制定的格式条款，且未尽到提示说明义务，可能被认定为无效。
• 欺诈、胁迫：若签订合同时存在欺诈、胁迫等情形，可主张撤销合同或部分条款。

行动建议：
检查合同签订过程是否存在上述情形，若存在，可主张罚息条款无效或部分无效。

3. 部分还款的可行性

若罚息合法但过高，借款人可尝试以下方式：

• 与贷款方协商：提出降低罚息、延长还款期限等方案，争取达成和解。
• 部分履行：在法院判决或协商达成一致前，可先偿还本金及合法利息，避免进一步违约。

风险提示：
若完全拒绝还款，贷款方可能通过诉讼、催收等方式追讨，甚至影响个人征信。

4. 特殊情形下的豁免

• 不可抗力：如因自然灾害、重大疾病等导致无力还款，可主张免除部分责任（需提供证据）。
• 贷款方违规：若贷款方存在暴力催收、虚假宣传等违法行为，可向监管部门投诉或报警。

总结：
逾期罚息过高时，借款人不可直接拒绝还款，但可通过法律途径主张调整。建议优先与贷款方协商，若协商无果，及时咨询律师并收集证据，通过诉讼或投诉维护权益。如有具体合同或案例，可进一步向我咨询，我会结合细节提供更精准的建议。