结论：关于离婚时间及起诉退彩礼时间的计算，并不直接以男方不让回家或被赶出的时间为准，而是需要依据法律规定的具体情形来确定。

详细分析：

1. 离婚时间的确定：

   • 离婚时间的确定通常与双方是否达成离婚协议、是否通过诉讼程序离婚以及法院判决或调解书生效的时间有关。
   • 如果双方能够协商一致并签订离婚协议，那么离婚时间就是双方到婚姻登记机关办理离婚登记并领取离婚证的时间。
   • 如果双方无法协商一致，需要通过诉讼程序离婚，那么离婚时间就是法院判决或调解书生效的时间。男方不让回家或被赶出，并不直接决定离婚时间。

2. 起诉退彩礼时间的确定：

   • 起诉退彩礼的时间通常与离婚诉讼的时间相关联，但并非绝对。彩礼的退还问题，一般会在离婚诉讼中一并处理，但也可以单独提起诉讼。
   • 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。
   • 因此，起诉退彩礼的时间，一般是在双方离婚后，如果符合上述法律规定的情形，给付彩礼的一方可以向人民法院提起诉讼，请求返还彩礼。男方不让回家或被赶出，并不直接作为起诉退彩礼的时间起点。

建议：

• 如果您正面临男方不让回家或被赶出的情况，并且考虑离婚及退彩礼问题，建议您首先收集相关证据，如聊天记录、录音、视频等，以证明您的主张。
• 同时，您可以咨询专业律师（即我），了解具体的法律程序和可能的结果，以便更好地维护自己的合法权益。
• 在处理此类问题时，请保持冷静和理性，避免采取过激行为，以免给自己带来不必要的麻烦和损失。

后续行动：

• 如果您决定提起离婚诉讼或退彩礼诉讼，请准备好相关证据材料，并按照法律程序进行操作。
• 在诉讼过程中，请积极配合法院的工作，如实陈述事实，提供证据，以便法院能够公正、公平地处理案件。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。