结论：在这种情况下，男人向小三花的五千块钱，仅凭转账记录而没有借条和聊天记录，要回这笔钱存在一定难度，但并非完全不可能，具体能否要回需结合实际情况判断。以下从不同角度进行分析：
从法律关系角度分析
- 赠与合同关系：
- 如果男人将这五千块钱无偿给予小三，且没有明确的借贷合意，从法律上可能被认定为赠与行为。根据《中华人民共和国民法典》中关于赠与合同的规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。一旦赠与行为完成，除非存在法定撤销事由，否则赠与人不能随意撤销赠与并要回财产。
- 法定撤销事由通常包括：严重侵害赠与人或者赠与人近亲属的合法权益；对赠与人有扶养义务而不履行；不履行赠与合同约定的义务等。在男人与小三的关系中，一般较难满足这些法定撤销事由，所以单纯从赠与合同角度，要回这笔钱比较困难。
- 不当得利关系：
- 不当得利是指没有合法根据，使他人受到损失而自己获得了利益。如果男人能够证明这五千块钱的转账并非基于赠与等合法原因，而是小三没有合法依据取得该财产，那么男人可以以不当得利为由要求小三返还。
- 然而，要证明这一点并不容易。因为转账记录本身只能证明资金的流动，不能直接说明转账的性质。小三可能会抗辩称这是男人自愿给予的，或者存在其他合法原因。在没有借条和聊天记录等证据佐证的情况下，男人需要提供其他证据来证明转账的不当性，比如转账时的特殊情境说明、双方之前的经济往来模式等，但这些证据的收集和证明难度较大。
从证据角度分析
- 现有证据的局限性：
- 仅有转账记录，只能证明资金的转移，无法直接证明这笔钱的性质是借款还是赠与。借条是证明借贷关系的重要证据，聊天记录也可能包含双方关于这笔钱用途、性质等方面的约定，但目前这两项关键证据缺失。
- 在法律诉讼中，证据的充分性和关联性至关重要。转账记录作为单一证据，其证明力相对较弱，难以形成完整的证据链来支持男人的主张。
- 其他可能证据的收集：
- 男人可以尝试收集其他间接证据来增强自己的主张。例如，寻找证人证明双方之间存在借贷的约定或暗示；查找是否有其他书面材料（如便签、短信草稿等）能够反映这笔钱的性质；如果转账是通过银行进行的，可以申请银行出具详细的转账说明，看是否能从中找到一些线索。
- 但这些间接证据的收集和证明同样面临挑战，且即使收集到一些证据，也需要经过法庭的质证和认定，才能确定其是否具有证明力以及证明力的大小。
实际操作建议
- 尝试协商解决：
- 在考虑法律途径之前，男人可以先尝试与小三进行协商，看是否能够通过友好沟通的方式要回这笔钱。协商过程中，可以明确表达自己的诉求和理由，同时也可以听取小三的解释和意见，寻求双方都能接受的解决方案。
- 咨询专业律师并准备诉讼：
- 如果协商无果，男人可以咨询专业律师，详细向律师说明情况，包括转账的具体情况、双方的关系、是否有其他相关证据等。律师会根据具体情况进行法律分析和评估，为男人制定合适的诉讼策略。
- 在准备诉讼过程中，男人需要积极配合律师收集证据，尽可能完善证据链，提高胜诉的可能性。同时，也要做好心理准备，因为即使提起诉讼，也不能保证一定能够要回这笔钱，需要承担一定的诉讼风险。
总之，在这种情况下要回五千块钱存在一定挑战，但男人不应轻易放弃，可以通过合理的方式和途径来维护自己的合法权益。如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。