结论：给小三五百万，一般情况下不能直接以借贷关系起诉，但具体还需结合实际情况判断。以下从不同角度进行分析：
一、借贷关系的认定
借贷关系通常基于双方的真实意思表示，即一方愿意出借资金，另一方愿意接受并承诺归还。在借贷关系中，双方会签订借款合同或形成其他形式的借贷合意，并明确借款金额、期限、利息等条款。若给小三的五百万并非基于借贷的合意，而是基于其他目的（如赠与、投资等），则不能直接认定为借贷关系。
二、可能存在的法律关系
赠与关系：
- 如果给小三的五百万是出于赠与的目的，且没有明确的借贷合意，那么这笔钱很可能被认定为赠与。赠与一旦完成，除非存在法定撤销情形（如受赠人严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不能要求受赠人返还。
不当得利：
- 如果给小三的五百万没有合法依据，且导致你遭受了损失，而小三因此获得了利益，那么可能构成不当得利。在这种情况下，你可以要求小三返还这笔钱。但需要注意的是，不当得利的认定需要严格的法律要件，且举证责任较重。
其他法律关系：
- 如果给小三的五百万是基于其他法律关系（如投资、合作等），则需要根据具体的法律关系和合同条款来判断双方的权利义务。
三、以借贷关系起诉的难点
举证责任：
- 若要以借贷关系起诉，你需要承担举证责任，证明双方之间存在借贷合意，且五百万是作为借款出借的。这通常需要提供借款合同、转账记录、聊天记录等证据。如果无法提供充分证据，法院可能不会支持你的诉讼请求。
法律风险：
- 如果法院认定双方之间不存在借贷关系，而是其他法律关系（如赠与），那么你的诉讼请求可能会被驳回。此外，如果涉及婚外情等敏感问题，还可能对你的个人声誉和家庭关系造成负面影响。
四、建议
收集证据：
- 如果你确实认为给小三的五百万是借款，并希望以借贷关系起诉，那么首先需要收集充分的证据来证明双方之间存在借贷合意。这包括但不限于借款合同、转账记录、聊天记录等。
咨询专业律师：
- 由于涉及复杂的法律关系和举证责任问题，建议你咨询专业律师以获取更具体的法律建议。律师可以根据你的具体情况和证据情况，为你制定合适的诉讼策略。
考虑其他法律途径：
- 如果借贷关系难以成立，你可以考虑通过其他法律途径来维护自己的权益，如提起不当得利之诉或基于其他法律关系提起诉讼。
最后，需要强调的是，每个案件的具体情况都是独特的，因此上述分析仅供参考。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。