针对您提出的“只有他给小三的转账记录可以起诉要回钱吗”这一问题，以下是我为您提供的详细解答：
一、可以起诉的初步依据
在婚姻关系中，若您的配偶未经您同意，擅自将夫妻共同财产赠与第三方（即“小三”），这种行为可能侵犯了您的合法权益。转账记录作为初步证据，能够证明款项的转移情况，因此您有权以此为初步证据，向有管辖权的法院提起诉讼，要求第三方返还财产。
二、影响诉讼结果的关键因素及应对策略
证据链的完整性：
- 转账记录虽重要，但单独使用可能不足以证明款项是基于不正当关系的赠与。
- 应对策略：您需要收集其他辅助证据，如配偶与“小三”之间的聊天记录、通话录音、照片或视频等，以形成完整的证据链，证明转账的性质和目的。
款项性质的确定：
- 必须确认转账款项属于夫妻共同财产，而非配偶一方的个人财产。
- 应对策略：您可以通过提供婚姻证明、财产证明等文件，来证明转账款项属于夫妻共同财产。
赠与行为的认定：
- 对于小额转账，若属于日常生活需要，夫妻一方通常有权独立决定，这类转账可能不会被全额返还。
- 对于大额财产赠与，若未经另一方同意，通常会被认定为无效，第三方应予以返还。
- 应对策略：在起诉时，您需要明确指出转账的金额、性质以及是否未经您同意，以便法院进行认定。
法律程序的可行性和复杂性：
- 起诉前，您应进行详细的法律咨询和评估，确定诉讼策略和法律风险。
- 应对策略：建议您寻求专业律师的帮助，以确保诉讼程序的顺利进行，并降低法律风险。
三、起诉的具体步骤
确定诉讼请求与案由：
- 您可以请求法院确认赠与行为无效，并要求“小三”返还不当得利。
- 案由一般可选择“不当得利纠纷”。
全面收集证据：
- 除了转账记录外，还需收集聊天记录、通话录音、照片或视频等辅助证据。
选择有管辖权的法院：
- 根据“原告就被告”原则，向被告（“小三”）住所地的基层人民法院提起诉讼。
撰写并提交诉讼文书：
- 编写民事起诉状，写明原告、被告的基本信息，陈述诉讼请求、事实和理由。
- 将起诉状及整理好的证据材料一并提交给有管辖权的法院。
参与诉讼程序：
- 等待法院立案审查，符合立案条件则缴纳诉讼费用。
- 参与案件审理，包括送达与答辩、证据交换与质证、法庭辩论等环节。
- 等待法院判决，若胜诉则要求“小三”返还相应财产。
四、注意事项
- 确保所有证据均合法取得，避免侵犯他人隐私或人权。非法证据将无法提交法庭。
- 由于此类案件涉及复杂的法律程序和证据要求，建议您在起诉前咨询专业律师以获取准确的法律建议和帮助。
综上所述，虽然仅凭转账记录起诉“小三”存在一定难度，但通过精心准备和全面收集证据，您仍然有可能成功维护自身权益。希望以上解答能够对您有所帮助。