结论：仅知道小三的电话和转账记录，并不一定能够直接起诉“小三”，但这些证据在特定情况下可以作为起诉的重要依据，具体需结合实际情况和法律规定来分析。

分析说明：

1. 转账记录的法律意义：

   • 转账记录是证明资金流动的关键证据。如果转账记录显示您的配偶向“小三”进行了大额或频繁的转账，这可能构成对夫妻共同财产的擅自处分。
   • 根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，归夫妻共同所有，双方有平等的处理权。因此，如果配偶未经您同意，擅自将共同财产赠与“小三”，您有权要求返还。

2. 电话记录的法律意义：

   • 电话记录本身通常不直接证明法律关系的存在，但它可以作为辅助证据，与其他证据一起证明配偶与“小三”之间的不正当关系。
   • 如果电话记录显示配偶与“小三”频繁联系，且联系时间、内容等与转账行为相吻合，这可以增强您主张配偶擅自处分共同财产的说服力。

3. 起诉的条件和程序：

   • 要起诉“小三”要求返还财产，您需要证明配偶的转账行为是擅自处分共同财产，且该行为损害了您的利益。
   • 这通常需要您收集充分的证据，包括转账记录、电话记录、聊天记录、证人证言等，以形成完整的证据链。
   • 在起诉前，您可能需要先与配偶进行沟通，了解其态度，并考虑是否通过协商、调解等方式解决纠纷。如果协商、调解无果，您可以向法院提起诉讼。

4. 可能的法律后果：

   • 如果法院认定配偶的转账行为构成擅自处分共同财产，且损害了您的利益，法院可能会判决“小三”返还财产。
   • 同时，法院也可能对配偶的擅自处分行为进行批评教育，甚至可能影响夫妻关系的存续和财产分割。

特殊场景：

• 如果转账金额较小或属于正常社交范围内的支出，法院可能不会认定其为擅自处分共同财产。
• 如果“小三”能够证明转账是借款或其他合法原因，法院也可能不会支持您的返还请求。

行动建议：

1. 收集证据：除了转账记录和电话记录外，尽量收集其他相关证据，如聊天记录、证人证言等，以形成完整的证据链。
2. 咨询律师：在起诉前，建议您咨询专业律师，了解具体的法律程序和可能的风险。
3. 考虑协商和调解：在起诉前，您可以尝试与配偶和“小三”进行协商和调解，看是否能够达成和解协议。

如果您有进一步的疑问或需要具体的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。