结论：媒人是否犯法，取决于其是否具有非法占有男方财物的目的以及具体行为表现。若媒人存在非法占有目的，可能构成侵占罪；若不存在非法占有目的，则可能属于民事纠纷范畴。以下从不同角度进行详细分析：
一、媒人行为可能构成侵占罪的情况
法律背景：
- 根据《中华人民共和国刑法》第二百七十条的规定，将代为保管的他人财物非法占为己有，数额较大，拒不退还的，构成侵占罪。
行为分析：
- 如果媒人明知女方退还的彩礼应归男方所有，却故意将彩礼据为己有，且数额较大，同时拒绝退还给男方，那么媒人的行为就符合了侵占罪的构成要件。
法律后果：
- 若媒人行为构成侵占罪，将面临刑事处罚，包括有期徒刑、拘役或者罚金等。
二、媒人行为属于民事纠纷的情况
法律背景：
- 在民事法律关系中，如果媒人没有非法占有的目的，只是由于疏忽或者误解等原因，没有将彩礼及时退还给男方，那么这通常被视为一种民事纠纷。
行为分析：
- 媒人可能由于各种原因（如忘记、认为男方应主动索要等）没有将彩礼退还给男方，但并没有非法占有的意图。这种情况下，媒人的行为虽然不当，但并不构成犯罪。
法律后果及建议：
- 男方可以通过民事诉讼的方式要求媒人返还彩礼。在诉讼过程中，男方需要提供证据证明彩礼的存在、媒人接收了彩礼以及媒人未退还彩礼等事实。
- 建议：男方在采取法律行动前，可以先尝试与媒人进行沟通协商，看是否能够通过和平方式解决问题。如果沟通无果，再考虑通过法律途径维护自己的权益。
三、其他注意事项
证据收集：
- 无论媒人行为是否构成犯罪，男方在维护自己权益时都需要提供充分的证据。这包括但不限于彩礼的支付凭证、媒人接收彩礼的证明、与媒人的沟通记录等。
法律程序：
- 如果男方决定通过法律途径解决问题，需要了解并遵循相关的法律程序。这包括向法院提起诉讼、参加庭审、提供证据等。
专业咨询：
- 由于法律问题具有复杂性和专业性，男方在处理此类问题时最好咨询专业律师的意见。律师可以根据具体情况提供针对性的法律建议和帮助。
最后，媒人是否犯法取决于其是否具有非法占有男方财物的目的以及具体行为表现。如果男方遇到此类问题，建议先与媒人进行沟通协商，如果无法解决问题，再考虑通过法律途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。