离婚时是否需要退还彩礼，与谁起诉离婚无关，主要取决于是否符合法律规定的彩礼退还情形。以下是对这一问题的详细分析：
一、可以要求退还彩礼的情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，以下三种情形可能需要退还彩礼：
双方未办理结婚登记手续：
- 若男女双方仅按照习俗举办了婚礼，但未进行婚姻登记，则法律上视为未婚。在此情况下，给付彩礼的一方有权要求对方返还彩礼。例如，甲男和乙女虽举办婚礼但一直未登记结婚，后感情破裂分开，甲男可要求乙女返还彩礼。
双方办理结婚登记手续但确未共同生活：
- 即便双方已登记结婚，但若实际上从未共同生活或共同生活时间极短，且不存在其他客观原因（如因工作原因长期分居但仍有共同生活的意愿和行动），给付彩礼的一方在离婚时可要求返还彩礼。如丙男和丁女登记结婚后因工作原因一直分居，从未共同生活，离婚时丙男有权请求丁女返还彩礼。
婚前给付并导致给付人生活困难：
- 如果婚前给付彩礼导致给付方生活陷入困境，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，离婚时给付方可要求返还彩礼。例如，戊男为给付己女彩礼而背负巨额债务，导致家庭生活困难，离婚时戊男可要求己女返还彩礼。
二、退还彩礼的注意事项
诉讼时效：
- 返还彩礼请求权的诉讼时效为三年，自当事人知道或者应当知道权利受到侵害之日起计算。这意味着给付彩礼者在发现权利受损后，应及时行使权利，避免超过诉讼时效而丧失法律保护。
返还比例：
- 在司法实践中，法院会综合考虑多种因素来确定是否返还以及返还的具体比例。这些因素包括双方共同生活时间长短、有无生育子女、彩礼数额、彩礼用途、双方过错程度等。因此，彩礼的退还并非简单的全额退还，而是根据具体情况进行裁决。例如，如果双方已共同生活多年并生育了子女，法院可能会酌情减少返还的数额。
主体问题：
- 彩礼的给付和接受往往涉及男女双方及其父母等近亲属。在确定诉讼主体时，既可以将男女双方列为当事人，也可以将实际给付彩礼的父母等近亲属列为共同原告，将实际接收彩礼的父母等近亲属列为共同被告。这有助于确保诉讼的全面性和公正性。
三、实际操作建议
在处理彩礼退还问题时，建议你：
- 收集证据：保留与彩礼给付相关的证据，如转账记录、收据、证人证言等，以证明彩礼的给付情况和金额。
- 了解对方情况：了解对方的经济状况、生活困难程度以及彩礼的使用情况等，以便在协商或诉讼中提出合理的返还请求。
- 寻求法律帮助：如果你对彩礼退还问题存在疑问或无法与对方达成一致意见，可以直接向我咨询，我会根据你的具体情况提供针对性的法律分析和解决方案。
总之，离婚时彩礼的退还问题需要根据法律规定和实际情况进行综合判断。在处理此类问题时，应遵循法律法规的规定，注重保护当事人的合法权益，同时考虑地区习俗、家庭经济状况等多种因素的影响。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。