关于退卡是否需要把合同退给商家的问题，这主要取决于合同中的具体约定以及双方协商的结果，以下分情况讨论：
合同有明确约定：
- 如果合同中明确规定了退卡时需要退还合同文本，那么消费者在退卡时应当遵循这一约定，将合同一并退还给商家。这是基于合同双方应当遵循诚实信用原则，按照约定全面履行自己的义务。
- 同时，消费者也应注意保留好退卡的相关证据，如退卡申请、商家接收合同的确认等，以备后续可能出现的纠纷。
合同无明确约定：
- 如果合同中没有明确规定退卡时需要退还合同文本，那么消费者在退卡时并不必然需要将合同退还给商家。此时，消费者可以与商家进行协商，看是否需要退还合同或采取其他处理方式。
- 在协商过程中，消费者可以明确表达自己的意愿和理由，同时听取商家的意见，寻求双方都能接受的解决方案。
商家要求退还合同的情况：
- 即使合同中没有明确规定，商家也可能出于管理需要或其他原因要求消费者退还合同。在这种情况下，消费者可以与商家进行沟通，了解商家要求退还合同的具体原因和目的。
- 如果商家要求合理且不违反法律法规，消费者可以考虑配合商家的要求。但如果商家要求不合理或存在违法行为，消费者有权拒绝并寻求法律途径维护自己的合法权益。
法律建议：
- 在退卡前，消费者应首先仔细阅读合同条款，特别是关于退卡、退款及违约责任的约定，确保自己的行为符合合同约定。
- 如果合同中没有明确规定或双方协商无果，消费者可以依法向消费者协会投诉、申请调解，或向法院提起诉讼以维护自身权益。在整个过程中，务必保留好相关证据，如合同文本、消费记录、沟通记录等。
- 消费者在退卡时也应保持理性，避免采取过激或违法的手段。通过合法途径维护自己的权益是更为稳妥和有效的方式。
可能后果：
- 如果消费者按照合同约定或双方协商的结果退还了合同，并且退卡过程顺利，那么双方将不会因此产生纠纷。
- 如果消费者拒绝退还合同或退卡过程出现纠纷，那么双方可能需要通过法律途径解决争议。在这种情况下，消费者可能需要承担一定的法律风险和成本，如诉讼费用、律师费用等。
综上所述，退卡是否需要把合同退给商家主要取决于合同中的具体约定以及双方协商的结果。消费者在处理此类问题时，应仔细阅读合同条款、保留好相关证据，并通过合法途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。