结论：是否需要退差价给顾客，取决于您与顾客之间的合同约定、交易习惯以及是否存在价格欺诈等情形。以下从不同角度进行分析：

一、合同约定角度

1. 明确约定价格：如果货物买卖合同中明确约定了货物的价格，且该价格在合同签订时是双方真实意思的表示，没有受到欺诈、胁迫等不正当手段的影响，那么您无需退还差价给顾客。因为合同一旦成立并生效，双方都应当按照合同约定履行各自的义务。

2. 未明确约定价格或约定不明：如果合同中没有明确约定货物的价格，或者约定不明确，那么根据《中华人民共和国民法典》的相关规定，双方可以协议补充；不能达成补充协议的，按照合同相关条款或者交易习惯确定。在这种情况下，如果顾客主张您卖贵了，并要求退还差价，您需要与顾客协商解决，或者根据交易习惯、市场价格等因素来确定合理的价格。

二、交易习惯角度

1. 存在固定交易习惯：如果您与顾客之间存在固定的交易习惯，比如每次交易都按照某个特定的价格进行，那么在没有相反约定的情况下，您应当遵循该交易习惯。如果顾客主张您违反了交易习惯，要求退还差价，您需要评估该主张是否合理，并据此作出回应。

2. 不存在固定交易习惯：如果您与顾客之间不存在固定的交易习惯，那么价格问题就需要根据市场情况、货物质量、供求关系等因素来综合确定。在这种情况下，如果顾客认为您卖贵了，并要求退还差价，您需要与顾客进行协商，或者提供合理的解释和证据来证明您的价格是合理的。

三、价格欺诈角度

1. 存在价格欺诈行为：如果您在销售货物时存在价格欺诈行为，比如虚构原价、虚假优惠等，那么根据《中华人民共和国消费者权益保护法》的相关规定，顾客有权要求您退还差价，并可能要求您承担相应的赔偿责任。在这种情况下，您应当积极与顾客沟通，协商解决纠纷，并避免类似行为再次发生。

2. 不存在价格欺诈行为：如果您在销售货物时没有存在价格欺诈行为，且价格合理、透明，那么您无需退还差价给顾客。如果顾客仍然坚持要求退还差价，您可以与顾客进行协商，或者建议顾客通过法律途径解决纠纷。

建议：在处理此类纠纷时，建议您首先与顾客进行友好协商，了解顾客的具体诉求和理由，并尝试达成和解协议。如果协商无果，您可以考虑通过法律途径解决纠纷，比如向消费者协会投诉、提起民事诉讼等。同时，为了避免类似纠纷的发生，建议您在未来的交易中更加注重合同条款的明确性和完整性，以及交易习惯的规范性和稳定性。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。