结论：在货物买卖合同纠纷中，“买了退、退了买”的行为，商家是否可以拒绝，主要取决于双方合同的具体约定、交易习惯以及相关法律法规的规定。以下从不同角度进行分析：
合同约定优先：
- 如果双方在合同中明确约定了退货、换货的条件和流程，且买方的行为符合这些约定，那么商家通常应当接受退货或换货，并按照约定处理后续事宜。
- 反之，如果合同中没有相关约定，或者买方的行为违反了合同中的明确条款（如超过了约定的退货期限、商品不符合退货条件等），商家则有权拒绝买方的退货或换货请求。
交易习惯的影响：
- 在某些行业或地区，可能存在特定的交易习惯或行业规范，这些习惯或规范可能对退货、换货等行为有明确的规定。
- 如果买方的行为符合当地的交易习惯或行业规范，且商家在交易过程中没有提出异议，那么商家可能难以拒绝买方的合理请求。
法律法规的保障：
- 根据《中华人民共和国消费者权益保护法》等相关法律法规，消费者在购买商品后享有退货、换货等权利，但这些权利通常受到一定条件的限制（如商品需保持完好、需在规定期限内提出等）。
- 如果买方的行为符合法律法规的规定，且商家无法证明买方存在恶意或欺诈行为，那么商家通常应当接受买方的合理退货或换货请求。
商家拒绝的合理情形：
- 如果买方频繁退货、换货，且没有合理的理由或证据支持其请求，商家可能会认为买方的行为构成了滥用权利或恶意退货，从而有权拒绝其请求。
- 此外，如果商品因买方的使用或保管不当而损坏或贬值，商家也有权拒绝退货或换货请求，或者要求买方承担相应的损失。
建议与注意事项：
- 明确合同条款：在签订货物买卖合同时，双方应尽可能明确约定退货、换货的条件和流程，以避免后续纠纷。
- 保留证据：无论是买方还是卖方，在交易过程中都应保留好相关证据（如合同、发票、聊天记录等），以便在发生纠纷时能够证明自己的主张。
- 友好协商：在发生退货、换货纠纷时，双方应首先尝试通过友好协商的方式解决问题，以维护良好的商业关系。
- 寻求法律帮助：如果协商无果，双方可以寻求法律帮助，通过仲裁或诉讼等方式解决纠纷。在此过程中，建议咨询专业律师以制定最优策略。
法律依据：
- 《中华人民共和国消费者权益保护法》等相关法律法规对消费者的退货、换货权利有明确规定。
- 《中华人民共和国民法典》等法律法规对合同订立、履行、变更和终止等方面有详细规定，为处理货物买卖合同纠纷提供了法律依据。
如有更多关于货物买卖合同纠纷的法律问题，欢迎直接向我咨询。