被保险金融公司起诉，被告方最怕的可能是以下几个方面：

1. 法律责任与赔偿：最直接的担忧是可能需要承担的法律责任和赔偿。如果保险金融公司起诉的理由成立，被告方可能需要支付大额的赔偿金，这包括但不限于违约金、损失赔偿、利息以及可能产生的诉讼费用等。这会对被告方的财务状况造成直接影响。

2. 信誉损害：被起诉本身就可能对被告方的信誉造成损害，尤其是在金融行业，信誉是至关重要的。一旦涉及法律纠纷，可能会影响到被告方与合作伙伴的关系，甚至影响到未来的业务发展和市场融资能力。

3. 诉讼过程的时间和精力消耗：诉讼过程往往复杂且耗时，需要被告方投入大量的时间和精力去应对。这包括准备诉讼材料、参加庭审、与律师沟通等，这些都会分散被告方的注意力，影响到其正常业务的运营。

4. 法律风险的不确定性：诉讼结果具有一定的不确定性，即使被告方认为自己的立场是合理的，也存在败诉的风险。这种法律风险的不确定性会让被告方感到担忧。

面对这样的担忧，建议被告方首先保持冷静，积极寻求专业法律帮助。作为拥有多领域法律实务经验的律师，我可以为你提供详细的法律咨询和策略建议，帮助你更好地应对这场诉讼。我们可以一起分析案件的具体情况，制定合适的应对策略，力求将损失降到最低。