结论前置：对方不遵守租赁合同约定不退押金，这一行为通常是违法的，但具体是否违法还需结合合同条款、押金性质及实际情况综合判断。以下从不同角度为你详细分析：
一、从合同约定角度分析
在租赁合同中，押金通常作为承租人履行合同义务的一种担保方式。如果合同中明确约定了押金的退还条件、时间和方式，且承租人已经按照合同约定履行了全部义务（如按时支付租金、保持房屋完好等），那么出租人无正当理由拒绝退还押金，就构成了违约行为。
法律依据：根据《中华人民共和国民法典》第五百七十七条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”因此，出租人拒绝退还押金，承租人有权要求其承担违约责任，包括退还押金及可能产生的利息或损失。
二、从押金性质角度分析
押金的主要目的是担保承租人履行合同义务，如按时支付租金、不损坏房屋等。如果承租人没有违反合同约定，那么押金就应当退还。如果出租人以各种理由拒绝退还押金，且这些理由并不符合合同约定或法律规定，那么出租人的行为就可能构成违法。
特殊情况：如果合同中约定了某些特定情况下出租人可以扣除押金（如承租人损坏房屋设施等），且这些情况确实发生，那么出租人扣除相应金额的押金是合法的。但即便如此，出租人也应当提供充分的证据证明扣除押金的合理性，并退还剩余部分。
三、从实际操作角度分析
在实际操作中，如果出租人拒绝退还押金，承租人可以采取以下措施：
与出租人协商：首先尝试与出租人沟通，了解其拒绝退还押金的具体原因，并尝试通过协商解决问题。
寻求第三方调解：如果协商无果，可以寻求第三方调解机构的帮助，如居民委员会、村民委员会或人民调解委员会等。
提起诉讼或申请仲裁：如果调解也无法解决问题，承租人可以向人民法院提起诉讼或根据合同约定申请仲裁，要求出租人退还押金及可能产生的利息或损失。
建议：在处理此类纠纷时，承租人应当保留好相关证据，如租赁合同、押金收据、支付租金的凭证等，以便在需要时证明自己的权益。
四、从法律后果角度分析
如果出租人拒绝退还押金的行为被认定为违法，那么其可能需要承担以下法律后果：
退还押金：出租人需要按照合同约定或法律规定退还承租人押金。
支付利息或损失：如果出租人的行为给承租人造成了损失（如利息损失等），出租人还需要承担相应的赔偿责任。
面临行政处罚或刑事责任：在极端情况下，如果出租人的行为构成欺诈或其他违法行为，其还可能面临行政处罚或刑事责任。
总结：对方不遵守租赁合同约定不退押金，这一行为通常是违法的。但具体是否违法还需结合合同条款、押金性质及实际情况综合判断。如果你遇到了此类问题，建议先与对方协商解决；如果协商无果，可以寻求第三方调解或提起诉讼/申请仲裁来维护自己的权益。如果你还有其他疑问或需要进一步的法律帮助，请随时向我咨询。