结论：老公给固定嫖娼对象的钱，在符合一定条件下，是可以尝试要回来的，但具体能否成功要回，需结合实际情况判断。以下从不同角度进行分析：
一、法律角度分析
嫖娼行为的违法性：
- 嫖娼是违反我国治安管理处罚法的行为，属于违法行为。因此，因嫖娼而产生的金钱给付，在法律上是不受保护的。
财产返还的法律依据：
- 根据《中华人民共和国民法典》的相关规定，如果一方以欺诈、胁迫等手段使对方在违背真实意思的情况下实施的民事法律行为，受欺诈方有权请求人民法院或者仲裁机构予以撤销。在嫖娼的情境中，虽然直接的法律条款可能并未明确提及，但可以从“违背公序良俗”的角度进行考量。
- 嫖娼行为违背了社会的公序良俗，因此，因嫖娼而给付的财物，可以视为是基于非法目的的给付，从法律原则上讲，这种给付是不应得到法律保护的。在特定情况下，如能够证明给付财物并非出于自愿，而是受到欺诈、胁迫等，可以尝试通过法律途径要求返还。
二、实际操作角度分析
证据收集：
- 要成功要回老公给固定嫖娼对象的钱，首先需要收集足够的证据来证明这笔钱的给付与嫖娼行为有关。这可能包括转账记录、聊天记录、证人证言等。
- 证据的收集需要合法、有效，且能够形成完整的证据链，以证明给付财物的事实以及给付的目的。
法律程序：
- 在收集到足够证据后，可以通过向法院提起诉讼的方式来要求返还财物。法院将根据证据和法律规定进行审理，并作出判决。
- 需要注意的是，由于嫖娼行为的违法性，法院在审理此类案件时可能会更加谨慎，且要求证据更加充分、确凿。
可能的结果：
- 如果证据充分、确凿，且法院认定给付财物是基于非法目的的给付，那么法院可能会判决返还财物。
- 但如果证据不足或者法院认为给付财物并非完全基于非法目的（例如，可能存在部分自愿给付的情况），那么法院可能不会支持返还财物的请求。
三、特殊情况考虑
如果老公已经承认嫖娼行为并愿意返还财物：
- 在这种情况下，可以通过协商的方式解决，无需通过法律途径。但为了确保权益得到保障，建议签订书面协议并保留相关证据。
如果老公不承认嫖娼行为或拒绝返还财物：
- 在这种情况下，需要收集足够证据并通过法律途径来维护自己的权益。
建议：如果你面临这样的情况，建议先收集相关证据，并咨询专业律师（即我，雷俊律师）的意见。我可以根据你的具体情况，为你提供更详细的法律建议和帮助。