结论前置：针对“婚介所垫付给女方的钱男方离婚时要起诉谁”这一问题，需根据垫付资金的性质、用途及双方约定来综合判断起诉对象，一般可能涉及起诉女方或婚介所，甚至两者作为共同被告。以下从不同角度进行详细分析：
一、垫付资金性质与用途
若垫付资金为借款：
- 法律关系：若婚介所垫付给女方的钱明确为借款，且女方在婚姻关系存续期间收取了该笔借款，那么该笔借款原则上应视为夫妻共同债务（除非能证明该借款未用于夫妻共同生活或女方能证明该借款为其个人债务）。
- 起诉对象：在此情况下，男方作为夫妻一方，若认为该笔借款应由女方个人承担或双方共同承担但女方未履行还款义务，男方可以选择起诉女方，要求其偿还借款。若婚介所作为债权人，也有权直接起诉女方或夫妻双方（视借款合同约定而定）。
若垫付资金为赠与：
- 法律关系：若婚介所垫付给女方的钱被视为赠与，且赠与合同明确约定了赠与目的（如用于婚姻介绍服务费用等）且已实际履行，那么该笔赠与通常不可撤销，男方无权要求返还。
- 起诉对象：在此情况下，男方起诉婚介所或女方要求返还赠与资金，通常不会得到法院支持，因为赠与合同一旦成立并履行，即产生法律效力。
若垫付资金为婚姻介绍服务费用：
- 法律关系：若婚介所垫付的是婚姻介绍服务费用，且该费用已实际用于为男女双方提供婚姻介绍服务，那么该费用应视为婚介所与男女双方之间的服务合同费用。
- 起诉对象：若男方认为该服务费用不应由其承担或婚介所未按约定提供服务，男方可以起诉婚介所要求退还费用或赔偿损失。但若该费用已实际用于服务且服务符合约定，男方起诉要求退还可能不会得到法院支持。
二、双方约定与证据
- 双方约定：若婚介所、男方与女方之间就垫付资金有明确的书面或口头约定（如借款协议、赠与合同、服务合同等），则该约定将成为判断起诉对象的重要依据。
- 证据收集：男方在起诉前应收集相关证据（如转账记录、借款协议、赠与合同、服务合同、聊天记录等），以证明垫付资金的性质、用途及双方约定。
三、法律建议与后果
法律建议：
- 男方在起诉前应咨询专业律师，对垫付资金的性质、用途及双方约定进行法律分析。
- 根据分析结果，选择合适的起诉对象并准备充分的证据材料。
- 考虑通过调解、协商等方式解决纠纷，以降低诉讼成本和时间成本。
可能的法律后果：
- 若男方起诉对象选择正确且证据充分，法院可能判决女方或婚介所（或两者共同）承担还款责任或赔偿损失。
- 若男方起诉对象选择错误或证据不足，法院可能驳回其诉讼请求或判决其承担不利后果。
总结与引导：针对您提出的问题，起诉对象的选择需根据垫付资金的性质、用途及双方约定来综合判断。若您在此方面存在疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。