不退彩礼不让女方走是违法的。这一行为涉及两个层面的法律问题：彩礼的退还以及人身自由的限制。以下是对这两个问题的详细分析：

一、彩礼的退还问题

彩礼是否退还，需要根据具体情况按照法律规定来判定。根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，以下三种情形下，当事人请求返还按照习俗给付的彩礼，人民法院应当予以支持：

1. 双方未办理结婚登记手续：若双方仅按习俗举办了婚礼但未进行结婚登记，且最终分开，给付彩礼的一方有权要求返还彩礼。
2. 双方办理结婚登记手续但确未共同生活：此情况需以双方离婚为条件。即虽已登记结婚，但因故未共同生活，后决定离婚时，给付彩礼的一方可要求返还。
3. 婚前给付并导致给付人生活困难：同样需以双方离婚为条件，且“生活困难”指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。

若不存在上述法定返还情形，女方不退还彩礼通常属于民事纠纷范畴，不构成违法犯罪。但若符合法定返还彩礼的情形，且男方已通过法律途径起诉并获得法院判决支持，女方有能力执行却拒不执行，情节严重的，可能触犯《中华人民共和国刑法》第三百一十三条规定的拒不执行判决、裁定罪。

二、人身自由的限制问题

限制他人人身自由属于违法行为。根据《中华人民共和国刑法》的相关规定，非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。具有殴打、侮辱情节的，从重处罚。

具体到本问题，如果因为女方不退还彩礼，男方就限制其人身自由，不让女方走，这种行为显然是违法的。被限制人身自由的一方可以及时报警，向警方说明情况，警方会依法处理，保障其人身自由和合法权益。

三、建议与措施

对于彩礼纠纷问题，建议双方首先通过协商解决；协商不成时，可寻求法律援助并通过法律途径维护自身合法权益。例如，可以向法院提起诉讼，要求女方返还彩礼。同时，也建议双方在给付彩礼时保持理性，避免“天价彩礼”等不合理现象的发生。

总之，不退彩礼不让女方走是违法的。在处理彩礼纠纷时，应理性对待，遵循法律规定，维护双方的合法权益。如果您有任何法律问题，可以直接向我咨询，我会为您提供专业的法律建议。