结论：女方退给媒人的钱，媒人没退给男方，女方是否承担责任需分情况讨论，一般情况下女方无需直接对男方承担责任，但可能需通过法律途径向媒人追偿；若女方与媒人或男方有特殊约定，则需按约定处理。以下为详细分析：
一、一般情况：女方无需直接对男方承担责任
合同相对性原则：在法律上，合同或协议通常只约束签订合同的双方。如果女方与媒人之间有关于退款的明确约定（例如，女方委托媒人将钱退给男方），那么这份约定主要约束女方和媒人。如果媒人没有按照约定将钱退给男方，这通常是媒人违反了与女方之间的约定，而非女方直接违反了与男方的约定。
女方与男方的关系：除非女方与男方之间有直接的退款协议或法院判决要求女方退款给男方，否则女方没有法律义务直接将钱退给男方。如果女方已经将钱退给了媒人，且没有过错（例如，没有故意或过失地导致媒人未将钱退给男方），那么女方通常不需要对男方承担责任。
媒人的责任：媒人作为收款人，有义务按照约定将钱退给男方。如果媒人未履行这一义务，男方可以依法向媒人追偿。
二、特殊情况：女方可能需承担一定责任
女方与媒人或男方的特殊约定：如果女方与媒人或男方之间有特殊约定（例如，女方承诺如果媒人未将钱退给男方，则女方将承担一定责任），那么女方可能需要按照约定承担责任。
女方的过错：如果女方在退款过程中存在过错（例如，故意或过失地导致媒人未将钱退给男方），那么女方可能需要承担相应的法律责任。这种情况下，男方可以依法向女方追偿。
三、法律建议
收集证据：如果女方担心自己可能需要承担责任，建议收集与退款相关的所有证据（例如，转账记录、聊天记录、退款协议等），以便在需要时证明自己的清白。
协商解决：如果可能的话，女方可以尝试与媒人和男方进行协商，寻求一个双方都能接受的解决方案。
法律途径：如果协商无果，且女方认为自己无需承担责任，而男方或媒人坚持要求女方承担责任，那么女方可以通过法律途径来维护自己的权益。例如，女方可以起诉媒人要求其返还已收款项，或者如果男方起诉女方要求退款，女方可以在法庭上提供证据证明自己已经履行了退款义务。
总结：在大多数情况下，女方退给媒人的钱如果媒人没退给男方，女方无需直接对男方承担责任。然而，如果存在特殊约定或女方的过错导致退款未成功，女方可能需要承担一定的法律责任。因此，建议女方在退款过程中保持谨慎，并收集好相关证据以备不时之需。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。