结论前置：要求卖家退钱不一定合理，这主要取决于买卖双方的约定以及中间商赚差价的行为是否违反了相关法律法规或合同约定。
分析说明：
合同自由原则：在买卖合同中，买卖双方有自由约定价格的权利。如果买家在购买时并未对价格提出异议，且双方已经完成了交易，那么事后仅以知道中间商赚了差价为由要求退钱，通常是不合理的。因为这与合同自由原则相违背，除非合同中有明确约定退钱的相关条款。
是否存在欺诈：如果卖家或中间商在交易过程中存在欺诈行为，比如故意隐瞒真实价格、虚构价格构成等，导致买家基于错误的认识而做出了购买决定，那么买家有权要求撤销合同并退钱。但这种情况下，买家需要提供充分的证据来证明欺诈行为的存在。
市场行为与市场规则：中间商赚差价是市场经济中的常见现象。除非有特别约定或法律规定，否则中间商有权根据自己的成本和市场需求来定价。买家在购买时应当对市场行情有所了解，并自行判断价格是否合理。
消费者权益保护：虽然买家作为消费者有权要求公平交易，但“公平”并不意味着买家有权要求卖家退还因市场行为而产生的合理差价。消费者权益保护法主要保护的是消费者免受欺诈、胁迫等不正当手段的侵害，而不是保证买家能够买到“最低价”的商品。
总结：综上所述，要求卖家退钱不一定合理。买家在购买商品时应当充分了解市场行情和价格构成，并在交易前与卖家明确约定价格和其他相关条款。如果交易过程中存在欺诈行为或违反合同约定的情况，买家可以依法维护自己的权益。但在没有充分理由的情况下，仅以知道中间商赚了差价为由要求退钱，通常是不被支持的。