被留置的人给情人的生活费用，在法律上是有可能被要求退还的，但具体是否需要退还，需结合款项性质、来源及双方关系等多方面因素综合判断。以下从不同角度进行分析：

一、款项性质与来源

1. 若款项属于夫妻共同财产：

   • 根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，除另有约定外，应归夫妻共同所有。若被留置的人在婚姻关系存续期间，未经配偶同意，擅自将夫妻共同财产赠与情人，这种行为可能构成无权处分。
   • 在此情况下，配偶有权要求情人返还该部分财产，因为情人接受赠与的财产缺乏合法依据，且可能损害了配偶的合法权益。

2. 若款项属于被留置人的个人财产：

   • 如果被留置的人使用的是其个人财产（如婚前财产、个人继承或受赠的财产等）来支付情人的生活费用，那么从法律上讲，这部分财产属于被留置人的个人所有，其有权自由处分。
   • 然而，如果这种赠与行为违反了公序良俗（如破坏婚姻家庭关系等），虽然法律可能不会直接要求情人返还财产，但被留置人的配偶或其他相关利益方仍可能通过其他法律途径（如提起离婚诉讼、要求损害赔偿等）来维护自己的权益。

二、双方关系与行为性质

1. 情人关系与赠与行为：

   • 情人关系并不受法律保护，因此基于这种关系产生的赠与行为，在法律上可能缺乏有效的法律约束。
   • 如果赠与行为被认定为无效或可撤销（如因欺诈、胁迫等原因），那么情人可能需要返还受赠的财产。

2. 被留置人的法律责任：

   • 被留置本身并不直接决定款项是否需要退还，但留置可能意味着被留置人涉及某种违法或违纪行为。如果这种行为与赠与款项有关（如贪污、受贿等），那么相关款项可能被依法追缴或没收。
   • 在此情况下，情人可能因涉及非法所得而面临法律风险，包括被要求返还财产或承担其他法律责任。

三、实际操作与建议

1. 收集证据：

   • 如果配偶或其他相关利益方认为被留置的人赠与情人的款项属于夫妻共同财产或存在其他违法行为，应首先收集相关证据（如转账记录、聊天记录、证人证言等）以支持自己的主张。

2. 咨询专业律师：

   • 由于涉及复杂的法律关系和财产权益问题，建议咨询专业律师以获取更具体的法律建议和操作指导。律师可以根据具体情况分析款项性质、来源及双方关系等因素，为当事人提供合理的解决方案。

3. 考虑法律途径：

   • 如果协商无果或情人拒绝返还财产，相关利益方可以考虑通过法律途径来维护自己的权益。这可能包括提起民事诉讼要求返还财产、申请财产保全等措施。

总结来说，被留置的人给情人的生活费用是否需要退还，取决于款项性质、来源及双方关系等多方面因素。如果涉及夫妻共同财产或违法行为，那么情人可能需要返还受赠的财产。如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。