是否需要退回旅游时对方花的钱，这主要取决于双方的关系以及款项的性质。以下从不同角度为你详细分析：
一、双方为恋爱关系或亲密朋友关系
日常小额消费：
- 如果是在旅游过程中，对方为你支付的一些日常小额消费，如餐饮、交通等，且这些消费是双方共同享受或基于亲密关系而进行的，那么通常不需要退回。这类消费往往被视为双方关系中的一种自然付出和享受，不构成法律上的借贷或不当得利。
大额赠与或借款：
- 如果对方为你支付了大额的费用，如旅游费用、住宿费用等，且这些费用是以赠与的形式给予的，那么是否需要退回则取决于赠与的性质和双方的约定。如果赠与是附条件的（如以结婚为目的），且条件未达成，那么赠与方有权要求退回。
- 如果大额费用是以借款的形式给予的，那么无论双方关系如何，借款方都有义务按照约定归还借款。
二、双方为普通朋友或业务关系
明确约定为借款：
- 如果双方在旅游前或旅游过程中明确约定了某笔费用为借款，那么借款方有义务按照约定归还借款。这种约定可以是口头的，也可以是书面的，但为了确保权益，建议采用书面形式。
无明确约定但存在误解：
- 如果双方没有明确约定费用的性质，但一方认为另一方应该承担部分或全部费用，而另一方则认为这是对方的自愿付出，那么这种情况下可能会产生纠纷。为了避免纠纷，建议在旅游前或旅游过程中就费用的分担问题达成明确共识。
不当得利：
- 如果一方在没有合法依据的情况下获得了另一方的财物，且这种获得给另一方造成了损失，那么构成不当得利。在这种情况下，受益方有义务将不当得利返还给受损方。例如，如果一方误将旅游费用转账给了另一方，且另一方明知该款项不属于自己而仍然接受，那么就构成了不当得利。
三、法律建议
保留证据：
- 无论双方关系如何，都建议保留好与旅游费用相关的证据，如转账记录、聊天记录、发票等。这些证据在发生纠纷时将起到至关重要的作用。
友好协商：
- 如果双方就旅游费用的分担问题产生了纠纷，建议首先通过友好协商的方式解决。通过沟通，双方可以更好地理解对方的立场和需求，从而达成共识。
寻求法律帮助：
- 如果协商无果，或者纠纷涉及的法律问题较为复杂，那么建议寻求专业的法律帮助。作为专业律师，我可以为你提供详细的法律咨询和辩护服务，帮助你维护自己的合法权益。
总结来说，是否需要退回旅游时对方花的钱，取决于双方的关系、款项的性质以及是否存在明确的约定。在处理这类问题时，建议保留好相关证据，通过友好协商的方式解决纠纷，并在必要时寻求专业的法律帮助。如果你有任何法律问题或需要进一步的咨询，请直接向我提问。