若媒人只是起到介绍作用，并非彩礼的实际收受方，一般不能直接起诉媒人要求退还彩礼。彩礼退还纠纷，通常是在男女双方之间产生，而非媒人。以下是对此问题的详细分析：
媒人的角色与责任
媒人，在传统意义上，是为男女双方进行婚姻介绍的职业或者行为。他们主要提供的是中介服务，帮助男女双方相识、相知，并最终走向婚姻。然而，媒人并不对婚姻的成立承担责任，也不对彩礼的收受和退还负有直接的法律义务。
彩礼退还的法定情形
根据相关法律规定，彩礼退还通常是在以下情形下产生：
双方未办理结婚登记手续：如果男女双方没有办理结婚登记手续，那么给付彩礼的一方有权要求退还彩礼。
双方办理结婚登记手续但确未共同生活：即使男女双方已经办理了结婚登记手续，但如果他们确实没有共同生活，给付彩礼的一方也有权要求退还彩礼。
婚前给付并导致给付人生活困难：如果婚前给付彩礼导致给付人生活困难，那么给付彩礼的一方在离婚时也有权要求退还彩礼。
起诉媒人的条件与限制
虽然理论上，如果与媒人有民事纠纷，且符合起诉条件，可以到法院起诉。但起诉媒人要求退还彩礼，通常是不被支持的。因为媒人并非彩礼的收受方，也不对彩礼的退还负有直接责任。除非有证据表明媒人在婚姻介绍过程中存在欺诈、胁迫等违法行为，并因此导致了彩礼的损失，否则起诉媒人要求退还彩礼是很难成功的。
法律建议与操作指南
收集证据：如果认为媒人在婚姻介绍过程中存在违法行为，导致彩礼损失，应首先收集相关证据，如转账记录、聊天记录、证人证言等。
咨询律师：在起诉前，建议咨询专业律师，了解具体的法律程序和可能面临的法律风险。
提起诉讼：如果符合起诉条件，且证据充分，可以向有管辖权的人民法院提起诉讼，要求媒人赔偿损失。但需注意，这种诉讼的成功率通常较低。
考虑其他途径：如果起诉媒人不可行，可以考虑与对方协商解决，或者通过其他法律途径来维护自己的权益。
如果有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，提供更详细、更专业的法律建议。