结论：离婚时是否需要退还彩礼，与谁起诉离婚无关，主要取决于是否符合法律规定的彩礼退还情形。以下是对这一问题的详细分析：

法律规定及适用情形

根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，以下三种情形可能需要退还彩礼：

1. 双方未办理结婚登记手续：

   • 若男女双方仅按照习俗举办了婚礼，但未进行婚姻登记，则法律上视为未婚，给付彩礼的一方有权要求对方返还彩礼。例如，若甲男和乙女虽举办婚礼但一直未登记结婚，后感情破裂分开，甲男可要求乙女返还彩礼。

2. 双方办理结婚登记手续但确未共同生活：

   • 即便双方已登记结婚，但若实际上从未共同生活或共同生活时间极短，且不存在其他客观原因，给付彩礼的一方在离婚时可要求返还彩礼。如丙男和丁女登记结婚后因工作原因一直分居，从未共同生活，离婚时丙男有权请求丁女返还彩礼。

3. 婚前给付并导致给付人生活困难：

   • 如果婚前给付彩礼导致给付方生活陷入困境，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，离婚时给付方可要求返还彩礼。例如，戊男为给付己女彩礼而背负巨额债务，导致家庭生活困难，离婚时戊男可要求己女返还彩礼。

特殊规定与司法实践考量

• 特殊规定：上述第二、三项情形的适用，以双方离婚为条件。若双方未离婚，即使存在上述情况，给付彩礼的一方也不能要求返还。

• 司法实践中的其他考量因素：

  • 结婚时间长短：结婚时间短，如仅几个月就离婚，法院可能倾向于判决返还部分彩礼；结婚时间较长，则可能不支持返还请求，认为彩礼已在共同生活中消耗。
  • 是否生育子女：若双方婚后生育子女，法院在考虑彩礼返还时会更为谨慎，会综合考虑子女的抚养等因素。
  • 彩礼的使用情况：如果彩礼已用于双方共同生活开支，如购买家庭用品、支付生活费用等，法院可能会根据实际情况酌情减少返还数额。

综合判断与分析

在处理彩礼退还问题时，应综合考虑法律规定、双方具体情况以及彩礼的实际使用情况。谁起诉离婚并不是决定彩礼退还多少的关键因素，而是要看是否符合上述法律规定的彩礼退还情形，以及司法实践中的其他考量因素。

因此，如果你或你身边的人正面临离婚彩礼退还的问题，建议详细梳理双方的情况，包括婚姻登记状况、共同生活时间、彩礼使用情况等，以便更准确地判断是否需要退还彩礼以及退还的数额。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。