结论：在商品有瑕疵退回给商家但商家不承认，且没有保留证据的情况下，消费者可能面临维权困难，但仍可通过一些途径尝试解决。
一、法律背景与依据
根据《消费者权益保护法》的相关规定，经营者提供的商品或者服务不符合质量要求的，消费者有权要求退货、更换或修理。具体来说：
- 第十九条：经营者发现其提供的商品或者服务存在缺陷，有危及人身、财产安全危险的，应当立即向有关行政部门报告和告知消费者，并采取相应措施。
- 第二十四条：消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货；不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。
- 第五十二条：经营者提供商品或者服务，造成消费者财产损害的，应当依照法律规定或者当事人约定承担修理、重作、更换、退货、补足商品数量、退还货款和服务费用或者赔偿损失等民事责任。
二、缺乏证据时的维权建议
尝试与商家协商：
- 尽管没有保留证据，但消费者仍可以尝试与商家进行友好协商，说明商品存在瑕疵的情况，并要求商家按照法律规定进行退货、更换或修理。
- 在协商过程中，消费者可以尽量提供商品瑕疵的描述、购买时间、地点等相关信息，以增加说服力。
寻求第三方调解：
- 如果与商家协商无果，消费者可以寻求消费者协会或其他第三方调解机构的帮助，进行调解。
- 调解机构可能会要求消费者提供一些辅助证据，如购买凭证、商品照片等，即使这些证据不是直接证明商品瑕疵的，但也能在一定程度上支持消费者的主张。
考虑法律途径：
- 如果调解无果，消费者可以考虑通过法律途径解决纠纷，如向法院提起诉讼。
- 在诉讼过程中，消费者需要承担举证责任，证明商品存在瑕疵以及该瑕疵与商家有关。由于消费者没有保留直接证据，这可能会增加诉讼的难度。但消费者可以尝试通过其他方式间接证明，如提供类似商品的质量问题报道、专家意见等。
- 同时，消费者也可以考虑申请法院进行证据保全或委托鉴定机构对商品进行质量鉴定，以获取更直接的证据。
三、可能的法律后果
- 如果消费者能够成功证明商品存在瑕疵且与商家有关，那么商家可能需要承担退货、更换、修理或赔偿损失等民事责任。
- 如果消费者无法提供足够证据证明商品瑕疵与商家有关，那么消费者可能面临败诉的风险，即无法获得相应的赔偿或解决方案。
四、预防与建议
- 保留证据：在购买商品时，消费者应妥善保留购买凭证、商品说明书、保修卡等相关证据。在发现商品存在瑕疵时，应及时拍照、录像或保存其他相关证据。
- 及时维权：一旦发现商品存在瑕疵，消费者应及时与商家联系并要求解决。如果商家拒绝解决或解决不当，消费者应及时寻求第三方调解或法律途径解决纠纷。
- 了解法律：消费者应了解自己的权益和法律规定，以便在维权过程中能够更好地保护自己的合法权益。
在处理此类纠纷时，如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。