不可以直接以只交罚金替代判决书上要求的退赃退赔义务，退赃退赔与罚金是不同的法律责任承担方式，需分别履行。具体分析如下：

1. 退赃退赔与罚金的性质差异
   退赃退赔属于民事赔偿或犯罪所得追缴范畴，目的是恢复被害人损失或剥夺犯罪收益。例如，诈骗案中需退还被害人本金，盗窃案中需返还赃物或等值赔偿。而罚金是刑法规定的附加刑，针对犯罪人经济能力的惩罚措施，直接上缴国库。二者性质、目的、对象均不同，不存在相互替代的法律基础。

2. 判决书义务的强制性
   法院判决书中明确列明的退赃退赔与罚金条款，均具有强制执行力。若仅缴纳罚金而拒绝退赃退赔，可能面临：

   • 法院强制执行：通过查封、冻结财产等方式追缴未退赔款项；
     
   • 信用惩戒：纳入失信被执行人名单，限制高消费、出境等；
     
   • 刑事责任风险：情节严重可能构成拒不执行判决、裁定罪。

3. 特殊情形下的处理原则
   若犯罪人确实无力同时履行两项义务，可向法院申请分期履行或部分减免，但需提供经济困难证明（如低保证明、医疗费用单据等）。法院会综合考量其履行能力、退赔意愿等因素，决定是否调整执行方案。但未经法院许可，不得自行决定以罚金替代退赔。

建议行动：

1. 优先履行退赃退赔义务，最大限度减少被害人损失；
   
2. 同步与法院沟通罚金缴纳计划，争取合理期限；
   
3. 保留所有缴费凭证，避免后续争议。
   

若对具体执行流程或法律条款有疑问，可进一步向我咨询，我会结合案情提供详细指引。