商家拒绝退货的行为不合理。下面我将对此进行详细分析：

一. 消费者享有退货权利

1. 根据《消费者权益保护法》的相关规定，消费者在购买商品后，有权在商品购买日起一定期限内（如商品无质量问题通常为7日或更长时间，具体依据商家承诺或国家规定），进行无理由退货。这一规定旨在保护消费者的合法权益，确保消费者在购买商品后有足够的考虑时间，并能在不满意时选择退货。

二. “金不能退”的说法缺乏法律依据

1. 商家声称“金不能退”，这并非法律上的规定。无论是黄金还是其他任何商品，只要符合退货条件，消费者都有权要求退货。商家的这一说法可能是基于其内部的退货政策，但不能违反国家法律法规。
2. 如果商家在销售时未明确告知消费者这一特殊的退货政策，并在消费者提出退货要求时以此为由拒绝，那么商家的行为就构成了对消费者知情权的侵犯。

三. 具体退货条件的考量

1. 在本例中，消费者购买了4000元的被子后要求退货。如果被子本身没有质量问题，且消费者是在合理的退货期限内提出退货要求，那么商家应当接受退货。
2. 如果商家拒绝退货，消费者可以依据《消费者权益保护法》的相关规定，向消费者协会或市场监管部门投诉，维护自己的合法权益。

综上所述，商家拒绝退货的行为是不合理的。消费者在购买商品后享有退货权利，商家不能以其内部的“金不能退”政策为由拒绝退货。我建议消费者与商家沟通协商，要求退货；如果商家拒绝，消费者可以依法向相关部门投诉。如有进一步需要，您可以继续咨询我。