结论：其他合伙人是否有义务承担责任退钱，取决于多个因素，包括合伙协议的内容、款项的性质以及该合伙人行为是否代表合伙企业等。以下是对此问题的详细分析。
一、合伙协议的内容
合伙协议有约定：
- 如果合伙协议中明确规定了合伙人因个人行为（如与客人建立情人关系）导致需要退还钱款时，其他合伙人的责任分担方式，那么应首先遵循合伙协议的约定。
- 例如，合伙协议可能规定，因某个合伙人个人行为导致的债务或退款，由该合伙人个人承担，其他合伙人无需承担责任。
合伙协议无约定：
- 如果合伙协议中没有相关约定，那么需要依据《中华人民共和国民法典》中关于合伙的规定来处理。
二、款项的性质
合伙企业财产：
- 如果被起诉要求退还的钱款属于合伙企业的财产，且该合伙人的行为被视为合伙企业的行为（如该合伙人以合伙企业名义与客人交往并收取款项），那么其他合伙人可能需要承担连带责任。
- 这是因为，在合伙企业中，合伙人对合伙企业的债务通常承担连带责任。
合伙人个人财产：
- 如果被起诉要求退还的钱款属于该合伙人的个人财产，且该行为与合伙企业无关，那么其他合伙人通常无需承担责任。
- 例如，该合伙人用自己的钱与客人交往，并未使用合伙企业的资金或资源。
三、该合伙人行为是否代表合伙企业
代表合伙企业：
- 如果该合伙人的行为被视为代表合伙企业（如该合伙人以合伙企业名义与客人建立情人关系，并因此收取款项），且该行为导致了需要退还钱款的后果，那么其他合伙人可能需要承担一定的责任。
- 这种情况下，其他合伙人的责任大小可能取决于他们在合伙企业中的出资比例、管理职责等因素。
不代表合伙企业：
- 如果该合伙人的行为纯粹是其个人行为，与合伙企业无关，那么其他合伙人通常无需承担责任。
四、法律建议
审查合伙协议：
- 首先，应仔细审查合伙协议，了解其中关于合伙人责任分担的约定。
收集证据：
- 收集相关证据，以证明被起诉要求退还的钱款是否属于合伙企业的财产，以及该合伙人的行为是否代表合伙企业。
咨询专业律师：
- 如果情况复杂或存在争议，建议咨询专业律师，以获取更具体的法律建议。不过，现在你就可以直接向我咨询，我会结合你的具体情况给出更详细的解答。
考虑和解或诉讼：
- 根据具体情况，考虑与对方和解或通过法律途径解决争议。如果选择诉讼，应做好充分的准备，包括收集证据、准备法律文件等。
总结：其他合伙人是否有义务承担责任退钱，并不是一个简单的“是”或“否”的问题。它取决于合伙协议的内容、款项的性质以及该合伙人行为是否代表合伙企业等多个因素。因此，在处理此类问题时，应综合考虑各种因素，并咨询专业律师以获取更具体的法律建议。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。