结论前置：结婚四年没有孩子，女方起诉离婚的情况下，女方一般无需退还彩礼。但若存在特定情形，如婚前给付彩礼导致给付人生活困难，且该困难持续至离婚时，男方仍有可能主张退还彩礼。
法律依据与分析
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼，需满足以下情形之一，人民法院才会予以支持：
双方未办理结婚登记手续：若双方未领取结婚证，彩礼的给付目的未实现，因此收受方应返还彩礼。但这一规定显然不适用于已结婚四年的情况。
双方办理结婚登记手续但确未共同生活：即使双方已登记结婚，但若未实际共同生活，意味着彩礼用于共同生活的目的未能实现。在此情况下，离婚时给付彩礼的一方有权请求返还彩礼。然而，在结婚四年的情况下，双方通常已经共同生活了一段时间，因此这一情形也不太可能适用。
婚前给付彩礼并导致给付人生活困难：此处的“生活困难”指的是依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。若因给付彩礼而导致给付人陷入此类困境，并且这种困难状况持续到离婚时，给付人有权要求退还彩礼。这是唯一可能适用于已结婚四年且无子女情况下的退还彩礼情形。
结合具体情况的分析
婚姻持续时间：双方已共同生活四年，这通常意味着彩礼已经在共同生活中被消耗或转化为夫妻共同财产。因此，在无特殊情形下，女方无需退还彩礼。
彩礼使用情况：你提到彩礼没有用在夫妻共同开支上，但这并不直接决定彩礼是否需要退还。关键在于是否因给付彩礼导致了给付人生活困难，并且这种困难在离婚时仍然存在。
特殊情形考量：如果男方能证明因婚前给付彩礼导致自己生活极度困难，且该困难与给付彩礼有直接因果关系，同时能够提供充分的证据（如债务证明、生活困难证明等）来支持其主张，那么即便已经结婚四年，男方仍有可能在离婚时要求女方退还彩礼。但这种情况较为罕见，且需要严格的证据支持。
总结与建议
一般情况下无需退还：在结婚四年且无子女的情况下，女方通常无需退还彩礼，因为彩礼的目的（促成婚姻）已经达成，且彩礼可能已经在共同生活中被消耗或转化为夫妻共同财产。
特殊情况下可主张退还：如果男方能证明因婚前给付彩礼导致自己生活困难，并且这种困难在离婚时仍然存在，同时能够提供充分的证据来支持其主张，那么男方仍有可能在离婚时要求女方退还彩礼。但这种情况需要严格的证据和法律程序支持。
建议与沟通：在处理此类问题时，建议双方首先进行友好沟通，尝试通过协商解决问题。如果协商无果，可以寻求法律途径解决争议。在此过程中，保留好相关证据（如彩礼给付凭证、生活困难证明等）至关重要。
如有任何进一步的问题或需要进一步的法律帮助，请随时向我咨询。