结论：离婚时能否起诉要求女方父母退回彩礼，需分情况讨论，具体如下：
若符合法定返还彩礼情形，可起诉要求返还，但起诉对象应为女方，而非女方父母
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条规定，当事人请求返还按照习俗给付的彩礼，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
结合您的情况，双方已登记结婚且育有子女，原则上不符合前两种情形；若您能证明因给付彩礼导致自身生活困难（需提供充分证据，如负债证明、生活水平显著下降等），则可起诉要求女方返还彩礼。但需注意，彩礼的返还义务主体是女方本人，而非其父母，除非能证明女方父母实际收取彩礼且构成共同受赠或恶意占有（实践中难度较大）。
若不符合法定返还情形，起诉要求返还彩礼的诉求可能被驳回
若您无法证明“生活困难”等法定情形，或彩礼已用于夫妻共同生活（如抚养子女、购置共同财产等），法院通常不会支持返还请求。此外，若彩礼金额较小或已转化为夫妻共同财产，返还的可能性更低。
关于彩礼在女方父母手中的处理建议
若彩礼确实由女方父母保管，但未明确约定为女方个人财产，且女方同意返还，可与女方协商解决；若女方拒绝返还，您仍需以女方为被告提起诉讼，并尝试通过证据（如转账记录、证人证言等）证明彩礼的实际流向。若女方父母实际占有彩礼且构成不当得利，您可另案主张权利，但需承担更高的举证责任。
温馨提示：离婚涉及财产分割、子女抚养等多方面问题，建议提前收集证据（如结婚证、彩礼支付凭证、生活困难证明等），并咨询专业律师制定诉讼策略。若您有进一步疑问，可直接向我提问。