结论：男方起诉离婚要求退还在一起用的钱是否合理，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：

1. 共同财产的认定与分割

在婚姻关系存续期间，夫妻双方共同取得的财产，包括工资、奖金、生产经营收益等，原则上属于夫妻共同财产。如果男方所主张的“在一起用的钱”属于夫妻共同财产的一部分，那么在离婚时，这部分财产应当按照夫妻共同财产的原则进行分割，而不是简单地退还给男方。

法律依据：

• 根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：（一）工资、奖金、劳务报酬；（二）生产、经营、投资的收益；（三）知识产权的收益；（四）继承或者受赠的财产，但是本法第一千零六十三条第三项规定的除外；（五）其他应当归共同所有的财产。

2. 个人财产的认定

如果男方所主张的“在一起用的钱”实际上是其个人财产，比如婚前个人积蓄、婚前个人投资收益等，且这部分财产在婚姻关系存续期间并未转化为夫妻共同财产，那么男方在离婚时有权要求保留这部分财产。但是，如果这部分个人财产在婚姻关系存续期间被用于了夫妻共同生活或共同经营，且没有明确的约定或证据表明其仍属于个人财产，那么这部分财产可能会被视为对夫妻共同财产的贡献，从而在离婚时不再单独退还给男方。

特殊情况：

• 如果男方能够证明某笔款项是其个人财产，且该款项在婚姻关系存续期间并未被用于夫妻共同生活或共同经营，而是被女方单独占有或使用，那么男方在离婚时有权要求女方退还这部分款项。但是，这种情况需要男方提供充分的证据来支持其主张。

3. 赠与或借贷关系的认定

如果男方在婚姻关系存续期间将款项赠与给女方，或者双方之间存在明确的借贷关系，那么这部分款项的处理方式将有所不同。

• 赠与关系：如果男方将款项赠与给女方，且没有附加任何条件或约定，那么这部分款项在赠与完成后即属于女方的个人财产，男方在离婚时无权要求退还。
• 借贷关系：如果双方之间存在明确的借贷关系，且有书面证据（如借条）来支持这一关系，那么男方在离婚时有权要求女方偿还这部分借款。但是，如果双方之间没有书面证据来支持借贷关系，或者女方能够证明这部分款项是男方对其的赠与或共同生活的支出，那么男方的这一主张可能会得不到法院的支持。

4. 法律建议

• 收集证据：如果男方认为女方应当退还部分款项，那么他需要收集充分的证据来支持其主张，包括转账记录、聊天记录、借条等。
• 协商解决：在离婚过程中，双方可以尝试通过协商来解决财产分割问题。如果双方能够达成一致意见，那么可以签订离婚协议来明确各自的权利和义务。
• 诉讼解决：如果双方无法通过协商解决财产分割问题，那么男方可以向法院提起诉讼，要求法院对财产进行分割。在诉讼过程中，男方需要提供充分的证据来支持其主张，并接受法院的判决。

总结：男方起诉离婚要求退还在一起用的钱是否合理，需根据具体情况来判断。如果涉及共同财产的分割、个人财产的认定、赠与或借贷关系的认定等问题，建议男方咨询专业律师（即我本人，林晏生律师，专注于婚姻家庭领域），以便更好地维护自己的合法权益。