结论：违约退房时，钥匙押金是否需要退还以及是否合法，这主要取决于租赁合同中的具体约定以及违约的具体情形。以下从不同角度进行分析：
一、合同约定优先
合同中有明确约定：
- 如果租赁合同中明确规定了违约退房时钥匙押金的退还规则，比如“若承租人违约退房，钥匙押金不予退还”或“违约退房时，扣除部分钥匙押金作为违约金”等，那么双方应按照合同约定执行。这种情况下，不退还钥匙押金或扣除部分押金是合法的，因为合同是双方自愿达成的协议，具有法律约束力。
合同中无明确约定：
- 如果租赁合同中没有明确约定违约退房时钥匙押金的退还规则，那么就需要根据相关法律法规和公平原则来判断。一般来说，押金是为了保证租赁期间房屋及设施的完好无损而收取的，如果承租人在违约退房时没有造成房屋或设施的损坏，那么出租人应当退还钥匙押金。
二、违约情形的影响
承租人轻微违约：
- 如果承租人的违约行为较为轻微，比如只是提前退房但未造成房屋或设施的损坏，且出租人能够及时找到新的承租人，那么出租人通常应当退还钥匙押金。因为此时不退还押金可能构成对承租人的不公平对待。
承租人严重违约：
- 如果承租人的违约行为较为严重，比如擅自改变房屋结构、损坏房屋设施或拖欠租金等，且这些行为给出租人造成了实际损失，那么出租人可以依据合同约定或相关法律法规扣除部分或全部钥匙押金作为赔偿。这种情况下，不退还或扣除押金是合法的。
三、法律建议
审查合同条款：
- 在签订租赁合同时，双方应仔细审查合同条款，特别是关于押金退还和违约责任的约定。确保合同条款明确、具体，避免产生歧义或纠纷。
保留证据：
- 在租赁期间，双方应保留好与房屋租赁相关的所有证据，如租金支付凭证、房屋交接单、损坏维修记录等。这些证据在发生纠纷时将起到关键作用。
协商解决：
- 如果发生违约退房的情况，双方应首先尝试通过协商解决纠纷。可以就钥匙押金的退还问题进行友好沟通，寻求双方都能接受的解决方案。
寻求法律帮助：
- 如果协商无果，双方可以寻求法律帮助。可以向当地的人民调解委员会申请调解，或者向人民法院提起诉讼。在诉讼过程中，法院将根据合同约定、相关法律法规和公平原则来判决钥匙押金的退还问题。
举例：假设承租人小李与出租人张先生签订了一份租赁合同，合同中约定“若承租人违约退房，钥匙押金不予退还”。后来小李因个人原因提前退房，且未造成房屋或设施的损坏。但根据合同约定，张先生有权不退还钥匙押金。然而，如果合同中没有这样的约定，且小李的违约行为并未给张先生造成实际损失，那么张先生应当退还钥匙押金给小李。
总结：违约退房时钥匙押金是否需要退还以及是否合法，取决于租赁合同中的具体约定以及违约的具体情形。在处理此类纠纷时，双方应首先审查合同条款、保留证据、尝试协商解决；如果协商无果，可以寻求法律帮助。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。