结论：起诉离婚时若证据不足，电话调查员（通常指法院工作人员或调查人员）一般不会直接退回案件，但可能会影响案件的审理进程和结果。具体来说，法院会根据现有证据进行审理，若证据不足以支持离婚请求，法院可能会判决不准离婚。

详细分析：

1. 证据不足的法律后果：

   • 在离婚诉讼中，证据是支持原告主张的关键。如果原告提供的证据不足以证明夫妻感情确已破裂，或者无法证明存在其他法定离婚事由（如重婚、家庭暴力、恶习不改等），法院在审理时可能会认为原告的主张缺乏事实依据。
   • 根据《中华人民共和国民法典》的相关规定，法院判决离婚的标准是夫妻感情确已破裂。若证据不足，法院可能无法认定这一标准，从而判决不准离婚。

2. 电话调查员的角色与行为：

   • 电话调查员（或法院工作人员）在离婚诉讼中主要负责调查取证、送达法律文书等工作。他们不会直接因为证据不足而退回案件，因为案件的受理和审理是法院的职责。
   • 如果电话调查员在调查过程中发现证据不足，他们可能会向原告或法院提出补充证据的建议，或者将现有证据情况反馈给法院，由法院根据法律规定进行审理。

3. 证据不足时的应对策略：

   • 如果原告在起诉离婚时发现证据不足，应积极收集更多证据来支持自己的主张。这可能包括寻找证人、收集书面证据、申请法院调查取证等。
   • 原告也可以考虑与对方进行协商，看是否能够通过协议离婚的方式解决纠纷，避免长时间的诉讼过程。

4. 法院的审理流程：

   • 无论证据是否充足，法院都会按照法定程序进行审理。这包括开庭审理、举证质证、法庭辩论等环节。
   • 在审理过程中，如果法院认为证据不足，可能会要求原告补充证据，或者根据现有证据进行判决。如果判决不准离婚，原告可以在判决生效后六个月内再次起诉离婚。

建议：

• 如果您正在考虑起诉离婚，但担心证据不足，建议您提前咨询专业律师，了解需要准备哪些证据以及如何收集证据。
• 在诉讼过程中，保持与法院的沟通，及时了解案件进展情况，并根据法院的要求补充证据或提供其他必要的信息。
• 如果第一次起诉离婚未获支持，不要灰心丧气。在符合法定条件的情况下，您可以再次起诉离婚，并努力收集更多证据来支持自己的主张。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。