结论：男方要退亲时，女方是否需要退钱给男方，主要取决于彩礼的性质、双方是否办理结婚登记手续、是否共同生活以及婚前给付是否导致给付人生活困难等因素，与两人是否发生关系无直接关联。
一、彩礼的性质与返还
附条件赠与：
- 男方在婚前给予女方的财物，若是以结婚为目的，通常被视为附条件赠与。即，如果双方未能结婚，男方有权请求返还。
- 这种观点在农村或经济相对不发达地区尤为普遍，因为彩礼往往数额较大，且涉及家庭的经济负担。
投资风险观点：
- 另一种观点认为，男方给予女方财物是出于与女方结婚的意愿，这可视为一方与另一方结婚发生的成本。若两人发生婚变，应视为投资风险，由投资者自负。
- 然而，这种观点在我国社会经济发展不平衡的现状下，可能不太适用于广大农村地区，因为彩礼问题往往与家庭经济状况紧密相关。
二、法律对彩礼返还的规定
根据司法实践和相关法律规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
双方未办理结婚登记手续的：
- 如果双方尚未办理结婚登记手续，男方要求返还彩礼，法院一般会予以支持。
双方办理结婚登记手续但确未共同生活的：
- 即使双方已经办理了结婚登记手续，但如果确实没有共同生活，男方在离婚时也有权要求返还彩礼。
婚前给付并导致给付人生活困难的：
- 如果婚前给付彩礼导致男方生活困难，男方在离婚时同样有权要求返还彩礼。
三、两人发生关系与彩礼返还的关系
- 两人是否发生关系，并不是决定彩礼是否需要返还的关键因素。彩礼的返还主要取决于上述提到的彩礼性质、双方是否办理结婚登记手续、是否共同生活以及婚前给付是否导致给付人生活困难等因素。
四、建议与注意事项
保留证据：
- 在处理彩礼问题时，双方应保留好相关证据，如转账记录、聊天记录等，以便在需要时证明自己的主张。
协商解决：
- 在退亲或离婚时，双方应尽量通过协商解决彩礼返还问题，以避免不必要的法律纠纷。
寻求法律帮助：
- 如果双方无法就彩礼返还问题达成一致，可以寻求专业律师的帮助，通过法律途径解决争议。
举例说明：假设男方在婚前给予女方10万元彩礼，但双方未办理结婚登记手续。后来，由于各种原因，男方决定退亲。在这种情况下，男方有权要求女方返还这10万元彩礼。如果女方拒绝返还，男方可以通过法律途径解决争议。
总结：男方要退亲时，女方是否需要退钱给男方，并不是由两人是否发生关系决定的，而是取决于彩礼的性质、双方是否办理结婚登记手续、是否共同生活以及婚前给付是否导致给付人生活困难等因素。在处理这类问题时，双方应保留好相关证据，尽量通过协商解决争议，并在必要时寻求专业律师的帮助。如果你有进一步的法律问题，可以直接向我咨询。