质量保证金是由一方给另一方的一种资金保证，用于确保特定的质量或服务标准得到遵守。具体是谁给谁，这取决于所处的行业和具体的情境。

在旅游行业，根据《中华人民共和国旅游法》和《旅行社条例》的规定，旅行社需要交纳旅游服务质量保证金。这笔保证金是由旅行社交给指定银行或由银行担保提供的，用于旅游者权益损害赔偿和垫付旅游者人身安全遇有危险时的紧急救助费用。也就是说，在旅游行业中，质量保证金是由旅行社给旅游者的保障。

而在建筑行业，情况则有所不同。根据《建设工程质量保证金管理办法》，建设工程质量保证金是由发包人（通常是建设单位或业主）从应付的工程款中预留的，用以保证承包人在缺陷责任期内对建设工程出现的缺陷进行维修的资金。这里，质量保证金是由发包人给承包人的一种约束和保障，确保承包人在工程竣工后的一段时间内（缺陷责任期）对工程质量负责。

综上所述，质量保证金的具体支付方和接收方取决于所处的行业和具体的合同约定。在旅游行业，它通常由旅行社提供，以保障旅游者的权益；而在建筑行业，它则由发包人从工程款中预留，以确保承包人对工程质量的责任。