结论：是否违法需视具体情况而定，主要看租赁合同中的相关条款以及未使用租赁物的原因。

分析如下：

1. 合同条款的约定：

   • 如果租赁合同中明确规定了，在特定情况下（如承租人未使用租赁物）可以退还租金或部分租金，那么出租人拒绝退还租金就可能构成违约，需要承担相应的法律责任。
   • 如果合同中没有相关约定，或者约定不明确，那么就需要根据法律规定和交易习惯来判断。

2. 未使用租赁物的原因：

   • 如果是因为出租人的原因导致承租人无法使用租赁物（如租赁物存在质量问题、出租人未按时交付等），那么承租人有权要求退还租金或解除合同，并要求出租人承担违约责任。
   • 如果是因为承租人自身的原因导致未使用租赁物（如承租人改变主意、承租人自身原因无法使用等），那么出租人可能有权拒绝退还租金，因为这属于承租人自身的风险。

3. 法律原则的应用：

   • 根据《中华人民共和国民法典》中关于租赁合同的规定，租赁合同是出租人将租赁物交付承租人使用、收益，承租人支付租金的合同。如果承租人未按照约定使用租赁物，或者因承租人的原因导致租赁物毁损、灭失的，承租人可能需要承担赔偿责任。但这并不直接等同于出租人可以拒绝退还租金，除非合同中有明确约定。
   • 在市场经济中，交易双方应当遵循平等、自愿、诚信的原则。如果出租人无正当理由拒绝退还租金，可能构成对承租人合法权益的侵害，承租人可以通过法律途径维护自己的权益。

建议：

• 如果你是承租人，且认为出租人拒绝退还租金的行为不合理，建议先与出租人协商解决。如果协商无果，可以收集相关证据（如租赁合同、支付租金的凭证、未使用租赁物的证明等），向法院提起诉讼或申请仲裁。
• 如果你是出租人，且认为承租人要求退还租金的要求不合理，也建议先与承租人协商解决。如果协商无果，且你确信自己有权拒绝退还租金（如根据合同条款或法律规定），那么可以坚持自己的立场，并准备好相关证据以应对可能的法律纠纷。

后续行动：

• 在处理此类纠纷时，建议双方都保持冷静和理性，通过合法途径解决争议。
• 如果对合同条款或法律规定有疑问，可以直接向我咨询，我会根据具体情况提供专业的法律意见。