按照调解书付款后，如果对方退回，通常不需要再次付款。以下是对这一结论的详细分析：

一. 调解书的法律效力

• 调解书在双方当事人签收后即产生法律效力。这意味着，调解书中明确规定的双方权利义务，包括金钱给付的内容，对双方均具有法律约束力。
• 根据《人民调解委员会组织条例》第九条，“人民调解委员会主持下达成的调解协议，当事人应当履行”。

二. 付款后的法律效果

• 一旦你按照调解书的规定履行了付款义务，且对方已经接收了款项，那么从法律上讲，你的付款义务就已经履行完毕。
• 除非调解书中有特殊约定，或者存在其他法律规定的特殊情况（如欺诈、胁迫等违法行为），否则你无需再次付款。

三. 对方退回款项的处理

• 如果对方在收到款项后主动退回，这通常被视为对方放弃了你按照调解书应支付的款项。
• 在这种情况下，除非你们双方另有约定，否则你无需再次付款。

四. 特殊情况的处理

• 如果存在特殊情况，如调解过程中存在欺诈、胁迫等违法行为，或者调解书的内容违反了法律规定，你可以通过法律途径寻求救济。但这需要你提供充分的证据来证明这些违法行为的存在。

我的观点：按照调解书付款后，如果对方退回款项，你通常无需再次付款。当然，在处理此类问题时，建议保留好所有与调解书及付款相关的书面文件和证据，以备不时之需。如有进一步需要，您可以继续咨询我。