在没有直接证据证明出轨的情况下，想要让小三返还财产确实存在一定的难度，但并非完全不可能。以下是我根据相关法律知识为您详细分析的情况：

1. 一般情况下难以直接起诉：

   • 在没有出轨的确凿证据时，通常难以直接以“小三”身份为由起诉要求返还财产。因为法律上对于财产的处分，主要依据的是财产的所有权、赠与合同的效力等法律原则。

2. 特定情况下可以考虑以不当得利为由起诉：

   • 如果“小三”明知对方有配偶仍与其共同生活，并接受了大量财物，导致原配财产损失，这种情况下可以考虑以“不当得利”为由起诉“小三”要求返还财产。
   • 不当得利是指没有法律根据，使他人受到损失而自己获得了利益。在这种情况下，“小三”接受财物的行为可能构成不当得利，原配可以请求其返还。

3. 起诉过程需要充分证据：

   • 无论是以何种理由起诉，都需要收集充分的证据来证明“小三”的行为以及财产损失的情况。这包括但不限于转账记录、聊天记录、消费凭证等。
   • 证据的收集需要合法、有效，不能侵犯他人的合法权益。

4. 考虑法律程序和诉讼成本：

   • 起诉“小三”要求返还财产是一个复杂的法律过程，需要耗费大量的时间和精力。同时，诉讼成本也是一笔不小的开支。
   • 在决定是否起诉之前，需要权衡利弊，考虑是否值得为此付出如此大的代价。

综上所述，虽然没有直接证据证明出轨，但在特定情况下仍然有可能通过法律途径让“小三”返还财产。关键在于收集充分的证据，并咨询专业律师（如我）以获取更具体的法律建议和指导。如果您有任何疑问或需要进一步的帮助，请随时向我提问。