结论：是否可以起诉仅退款的买家，需根据具体情况判断，主要取决于买家的行为是否构成违约或欺诈，以及卖家能否提供充分证据支持其诉求。以下从不同角度详细分析：

1. 合同关系与违约责任

   • 在榴莲交易中，买卖双方通过订单、支付等行为形成了买卖合同关系。若买家在收到榴莲后，无正当理由仅要求退款而不退货，这可能构成违约。根据《中华人民共和国民法典》中关于买卖合同的规定，买方有义务按照约定支付价款并接收货物，若买方无正当理由拒绝接收货物或仅退款不退货，卖方有权要求买方承担违约责任，包括但不限于继续履行合同、赔偿损失等。
   • 关键点：卖家需证明买家无正当理由仅退款，且卖家已履行了交货义务。这通常需要提供订单信息、物流记录、买家沟通记录等证据。

2. 欺诈行为的认定

   • 若买家以非法占有为目的，通过虚构事实或隐瞒真相的方式（如谎称未收到货物、货物存在严重质量问题等）仅要求退款，这可能构成欺诈。根据《中华人民共和国刑法》及相关司法解释，欺诈行为可能涉及刑事责任，但通常卖家会先通过民事途径解决，即起诉买家要求赔偿。
   • 关键点：卖家需证明买家存在欺诈故意，且该行为导致了卖家的经济损失。这可能需要提供买家与卖家的沟通记录、买家在其他平台的评价或行为记录等证据。

3. 平台规则与争议解决

   • 若交易发生在电商平台，卖家还需考虑平台规则对争议解决的影响。许多电商平台都有自己的争议解决机制，如退款流程、仲裁或调解等。卖家在起诉买家前，应先了解并遵循平台规则，尝试通过平台途径解决争议。
   • 关键点：卖家需仔细阅读平台规则，了解退款流程、争议解决方式及卖家权益保护措施。若平台规则对卖家不利或无法解决问题，卖家再考虑通过法律途径解决。

4. 诉讼成本与效益分析

   • 在决定是否起诉买家前，卖家还需考虑诉讼成本与效益。诉讼成本包括律师费、诉讼费、时间成本等，而效益则取决于卖家能否通过诉讼获得足够的赔偿。若买家仅退款金额较小，且诉讼成本较高，卖家可能需权衡利弊后作出决定。
   • 关键点：卖家应评估诉讼成本与预期赔偿金额，考虑是否值得通过法律途径解决争议。若决定起诉，卖家应准备充分的证据以支持其诉求。

建议：

• 卖家在遇到买家仅退款的情况时，应首先与买家沟通，了解退款原因并尝试协商解决。
• 若协商无果，卖家应收集并保存相关证据（如订单信息、物流记录、沟通记录等），以备后续可能的法律诉讼。
• 卖家在决定是否起诉前，应咨询专业律师（如我，殷翰卿律师，专注于海事商事、合同纠纷、国际贸易领域），了解诉讼风险与成本，并制定合适的诉讼策略。

如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。