服刑人员不可以只交退赔不交罚金。下面我来详细解释一下：
在刑事案件中，退赔和罚金是两种不同的法律概念，它们各自承担着不同的法律意义和责任。
退赔：这通常指的是犯罪分子因其犯罪行为给被害人造成的经济损失，而依法应当退还或赔偿的金额。退赔是对被害人的一种经济补偿，旨在恢复被害人的财产状况。
罚金：罚金是刑罚的一种，是人民法院对犯罪分子判处的强制性财产惩罚。罚金的缴纳是犯罪分子承担刑事责任的一种方式，也是对其犯罪行为的一种法律制裁。
在刑事案件的执行过程中，服刑人员需要按照判决来履行退赔和缴纳罚金的义务。这两者是相互独立的，不能相互替代。即使服刑人员已经履行了退赔义务，也不能免除其缴纳罚金的责任。
因此，服刑人员不能只交退赔不交罚金。如果拒绝缴纳罚金，可能会面临一系列的法律后果，如被强制执行、影响减刑或假释等。
综上所述，服刑人员应当全面履行判决确定的义务，包括退赔和缴纳罚金。如果有任何疑问或困难，建议及时向我咨询，以便得到专业的法律帮助和指导。