结论：男方起诉离婚时，能否要求退回已用于偿还女方婚前债务的彩礼，需根据具体情况判断。若符合法定退还情形，如双方未共同生活或婚前给付导致男方生活困难，则可能支持退还；若不符合，则可能不支持。

详细分析：

1. 法定退还情形：

   • 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，彩礼在以下情形下应当退还：

     • 双方未办理结婚登记手续；
     • 双方办理结婚登记手续但确未共同生活；
     • 婚前给付并导致给付人生活困难。

   • 针对您的情况：

     • 如果双方已经办理了结婚登记手续，并且共同生活了一段时间，那么仅凭彩礼用于偿还女方婚前债务这一事实，并不直接构成法定退还彩礼的情形。
     • 如果双方虽然办理了结婚登记，但并未共同生活，或者婚前给付彩礼导致男方生活困难，那么男方在离婚时有权要求女方返还彩礼。但这里的生活困难需要男方提供充分的证据证明，如当地民政部门、村委会等出具的相关证明材料。

2. 彩礼用途的考量：

   • 彩礼作为传统婚俗的一部分，其性质更偏向于附条件的赠与行为。若彩礼在婚后被用于共同生活支出，包括偿还女方的婚前债务（如果这一债务在婚后被视为共同债务或男方同意承担），则可能被视为对女方的赠与，此时要求全额返还可能较为困难。
   • 但如果男方能够证明，彩礼的给付并未导致其生活困难，且彩礼的用途并未符合双方共同生活的预期（例如，女方未经男方同意擅自将彩礼用于偿还其个人婚前债务），那么男方在离婚时要求返还彩礼的诉求可能得到法院的支持，但这并非绝对，还需结合其他因素综合判断。

3. 其他考虑因素：

   • 法院在判决时还会考虑双方结婚时间的长短、是否存在子女、双方过错程度以及当地的风俗习惯等因素。
   • 如果双方结婚时间较短且没有子女，或者女方存在过错导致离婚（如隐瞒重大债务、婚外情等），那么法院可能会倾向于支持男方要求退还彩礼的请求。

法律建议：

• 如果您作为男方，认为符合法定退还彩礼的情形，或者彩礼的用途并未符合双方共同生活的预期，且您因此遭受了经济损失，建议在离婚诉讼中积极主张返还彩礼，并准备充分的证据支持您的诉求。
• 如果您作为女方，认为彩礼已经用于共同生活支出或男方同意承担您的婚前债务，且您并不符合法定退还彩礼的情形，那么您可以在诉讼中提供相关证据，以维护自己的合法权益。

可能法律后果：

• 如果法院支持男方的诉求，女方可能需要返还部分或全部彩礼。
• 如果法院不支持男方的诉求，男方则无法要求女方返还彩礼。

总之，彩礼的退还与否是一个复杂的问题，需要综合考虑多个因素。如果您在此方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。