结论前置：对方违约时，押金不退且不开票的行为均不合法，您有权要求对方退还押金并开具发票。以下从押金和发票两个角度展开说明：

1. 押金问题
   根据《民法典》第五百七十七条，违约方需承担继续履行、补救措施或赔偿损失等责任。若合同明确约定押金在违约时退还（如“押金在无违约情况下全额退还”），则对方无权扣留；即使合同未明确约定，押金本质属于担保性质，违约方通常需返还（除非合同约定押金直接转为违约金且金额合理）。
   例外情形：若合同明确约定“违约时押金不予退还”，且该条款不违反法律强制性规定（如押金金额未显著高于实际损失），则可能被支持。但实践中，此类条款常因显失公平被法院调整，您仍可主张部分退还。

2. 发票问题
   根据《发票管理办法》第十九条，销售商品、提供服务或收取款项的单位/个人，应向付款方开具发票。对方收取押金时即产生开票义务，无论是否退还押金，均需开具发票。若对方拒开，您可向税务机关举报（如拨打12366），税务机关将责令其开具并可能处罚。
   操作建议：要求对方同时退还押金并开具发票；若对方拒绝，可保留押金收据、合同、沟通记录等证据，通过诉讼（主张返还押金）或税务举报（主张开票）维权。

总结：对方的行为涉嫌违法，您有权通过法律途径要求其履行义务。如有进一步证据或细节需分析，可直接向我咨询。