“小三”得来的钱，在多数情况下确实可以被视为不义之财。以下是从不同角度对此问题的详细分析：
从赠与行为的法律效力来看：
- 如果配偶一方未经另一方同意，擅自将夫妻共同财产赠与“小三”，这种行为侵犯了夫妻另一方的合法权益。根据《中华人民共和国民法典》的相关规定，此赠与行为是无效的。受损方有权向法院提起诉讼，请求确认赠与无效，并要求“小三”返还财产。因此，在这种情况下，“小三”得来的钱显然是不义之财，应当返还。
从特殊关系获得的报酬或利益来看：
- 若“小三”与配偶一方存在交易性质的关系，如提供陪伴、情感服务等以获取报酬或其他利益，这种行为不仅违背道德伦理，还可能触犯法律法规。例如，如果这种关系涉及到卖淫、嫖娼等违法行为，那么相关部门将依法查处并没收违法所得。同时，另一方配偶也有权要求返还相关财产。因此，在这种情况下，“小三”得来的钱同样是不义之财。
从不当得利的法律后果来看：
- 如果“小三”通过欺骗、胁迫或其他非法手段获取钱财，这构成不当得利。根据民法上的不当得利制度，这些钱财应当返还给受害者。受害者可以通过收集证据（如转账记录、聊天记录等）提起民事诉讼，要求“小三”返还。因此，无论钱财的来源如何，只要是通过非法手段获得的，都应当被视为不义之财。
从道德约束与社会舆论的角度来看：
- 尽管法律有其局限性，但道德和社会舆论也是重要的约束力量。对于“小三”行为，社会普遍持否定态度。道德谴责和社会压力可能促使“小三”主动选择返还钱财，以减轻自己的道德负担和社会压力。
处理建议：
- 如果您是受害者，发现配偶擅自将夫妻共同财产赠与“小三”，或者“小三”通过非法手段获取了您的财产，您应当尽快收集相关证据，如转账记录、聊天记录、证人证言等，以证明钱财的来源和性质。
- 在证据充分的情况下，您可以通过民事诉讼途径要求“小三”返还钱财，维护自己的合法权益。同时，您也可以考虑向相关部门举报“小三”的违法行为，以维护社会公序良俗。
法律背景：
- 《中华人民共和国民法典》第一千零六十二条：夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有。夫妻对共同财产，有平等的处理权。
- 《中华人民共和国民法典》第八条：民事主体从事民事活动，不得违反法律，不得违背公序良俗。
- 《中华人民共和国治安管理处罚法》第六十六条：对卖淫、嫖娼等违法行为的处罚规定。
综上所述，“小三”得来的钱在多数情况下确实是不义之财，应当依法予以返还。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。