结论是，仅凭转账记录和聊天记录，直接找小姐退钱存在较大的法律难度，但可以通过法律途径尝试追回款项，具体需视情况而定。以下是从不同角度的详细分析：
一、法律关系的认定
合同关系：
- 若老公与小姐之间存在明确的金钱交易约定（如支付费用以获取某种服务），则可能构成合同关系。但此类合同往往因违反公序良俗（如卖淫嫖娼）而被认定为无效。
- 根据《中华人民共和国民法典》的相关规定，无效的民事法律行为自始没有法律约束力。因此，从理论上讲，因无效合同而取得的财产应当予以返还。
不当得利：
- 若小姐没有合法依据而取得老公的财产（如转账），则可能构成不当得利。根据法律规定，受损失的人有权请求得利人返还取得的利益。
- 然而，在实际操作中，证明“没有合法依据”可能存在困难，尤其是当双方存在隐秘的交易关系时。
二、证据的有效性
转账记录：
- 转账记录可以作为证明资金流动的证据，但单独使用可能不足以证明交易的性质和目的。
- 需要结合其他证据（如聊天记录、证人证言等）来形成完整的证据链。
聊天记录：
- 聊天记录可以反映双方之间的沟通和约定，但同样需要与其他证据相互印证。
- 聊天记录的真实性和完整性也是需要考虑的因素，尤其是在涉及电子数据时。
三、法律途径的尝试
协商解决：
- 在尝试法律途径之前，可以尝试与小姐进行协商，看是否能够达成退款协议。
- 协商解决具有灵活性和高效性，但可能受到对方配合程度的影响。
民事诉讼：
- 若协商无果，可以考虑向法院提起民事诉讼，要求小姐返还因无效合同或不当得利而取得的财产。
- 在诉讼过程中，需要提供充分的证据来证明自己的主张。
- 需要注意的是，由于此类案件涉及敏感的社会问题，法院在审理时可能会更加谨慎和严格。
报警处理：
- 若老公的行为涉嫌违法（如嫖娼），可以向公安机关报案。
- 公安机关在调查过程中可能会追回部分或全部款项，但这主要取决于案件的具体情况和证据的充分性。
- 报警处理可能带来法律后果，包括对老公的行政处罚等。
四、实际操作中的难点
证据收集：
- 收集充分的证据是追回款项的关键。然而，在实际操作中，由于交易性质的隐秘性，证据收集可能存在困难。
法律程序：
- 民事诉讼和报警处理都需要遵循一定的法律程序，这可能需要花费一定的时间和精力。
社会影响：
- 此类案件涉及敏感的社会问题，可能会对当事人的社会形象和声誉造成影响。
建议：
- 在尝试追回款项之前，先评估证据的充分性和法律途径的可行性。
- 可以考虑咨询专业律师以获取更具体的法律建议和指导。
- 在处理过程中保持冷静和理性，避免采取过激或违法的行为。
如果有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。