旅行社故意扣押保证金不退，旅客有权要求退还，并可主张相应的赔偿责任。针对这一问题，我们可以从以下几个方面进行分析：

一. 旅行社扣押保证金的法律性质

1. 根据《中华人民共和国民法典》第五百八十六条，当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。在此情境下，保证金具有定金的性质，是为了担保合同的履行而交付的。
2. 若旅行社无故扣押保证金不退，则构成了对定金合同义务的违反。

二. 旅客的权益与救济途径

1. 要求退还保证金：根据《中华人民共和国旅游法》第六十三条，因未达到约定的成团人数解除合同的，组团社应当向旅游者退还已收取的全部费用。同理，若旅行社无故扣押保证金，旅客有权要求其退还。
2. 主张赔偿责任：根据《中华人民共和国民法典》第五百八十七条，收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。因此，旅行社若故意扣押保证金不退，旅客有权主张双倍返还。
3. 诉讼时效：根据《中华人民共和国民法典》第一百八十八条，向人民法院请求保护民事权利的诉讼时效期间为三年。旅客应在知道或应当知道权利受到损害之日起三年内提起诉讼。

三. 具体的救济途径

1. 旅客可以先尝试与旅行社进行协商，要求退还保证金并赔偿损失。
2. 若协商无果，旅客可以向消费者协会或依法成立的其他调解组织申请调解。
3. 调解不成时，旅客可以向有关行政部门投诉，或者根据与旅行社达成的仲裁协议提请仲裁机构仲裁。
4. 最后，旅客也可以直接向人民法院提起诉讼，维护自己的合法权益。

综上所述，旅行社故意扣押保证金不退是违法行为，旅客有权要求退还保证金并主张赔偿责任。我建议旅客在遭遇此类情况时，应积极采取法律手段维护自己的权益。如有进一步需要，您可以继续咨询我。