结论：起诉离婚时，对方给异性转账能否要回，需分情况讨论，主要取决于转账的性质、金额以及是否构成对夫妻共同财产的侵害。
若转账属于夫妻共同财产且未经同意：
- 在婚姻关系存续期间，夫妻双方对共同财产享有平等的处理权。如果对方未经你同意，擅自将夫妻共同财产转账给异性，且该转账行为并非用于家庭共同生活或基于其他合法原因，那么这种行为可能构成对夫妻共同财产的侵害。
- 在这种情况下，你可以向法院提起诉讼，要求确认该转账行为无效，并追回被转账的款项。法院在审理时，会综合考虑转账的金额、目的、双方的经济状况以及婚姻关系的状况等因素，来作出判决。
若转账属于对方个人财产或存在合法原因：
- 如果对方转账的款项属于其个人财产（如婚前财产、个人继承或受赠的财产等），或者转账行为存在合法原因（如偿还债务、支付抚养费或赡养费等），那么你可能无法要回这些款项。
- 在这种情况下，你需要提供充分的证据来证明转账款项属于夫妻共同财产，且对方转账行为存在过错或违法性，否则法院可能不会支持你的诉求。
若转账构成赠与且符合特定条件：
- 如果对方将夫妻共同财产赠与给异性，且该赠与行为符合《民法典》中关于赠与合同的规定（如赠与财产已经交付、赠与合同不存在法定无效情形等），那么该赠与行为在法律上可能是有效的。
- 但是，如果赠与行为严重损害了你的合法权益，或者对方与异性之间存在不正当关系，你可以尝试通过法律途径主张赠与行为无效或撤销赠与，并追回被赠与的财产。不过，这需要你提供充分的证据来证明赠与行为的违法性或不当性。
建议：
- 在处理此类问题时，建议你先收集相关证据，如转账记录、银行流水、聊天记录等，以证明对方转账行为的存在以及转账款项的性质。
- 同时，你可以咨询专业律师（即我本人），根据你的具体情况和当地法律法规，为你提供更具体的法律建议和诉讼策略。
- 在诉讼过程中，保持冷静和理性，积极配合法院的审理工作，以维护你的合法权益。