结论：顾客索要发票本身不能直接成为您要求其退款的理由，是否退款需根据具体情况和法律规定来判断。以下分情况详细说明：

1. 若交易本身合法且无质量问题：

   • 在这种情况下，顾客索要发票是其合法权利，因为根据《中华人民共和国发票管理办法》等相关规定，销售商品、提供服务以及从事其他经营活动的单位和个人，对外发生经营业务收取款项，收款方应当向付款方开具发票。
   • 您不能因为顾客索要发票就要求其退款，否则可能构成违约或侵犯消费者权益，需要承担相应的法律责任。

2. 若交易存在质量问题或不符合约定：

   • 如果商品或服务存在质量问题，或者与您和顾客之间的约定不符，那么顾客有权要求退款、换货或修理等。
   • 在这种情况下，顾客索要发票的同时提出退款要求，是基于其合法权益的行使。您应当根据实际情况和法律规定，与顾客协商解决退款事宜，而不能简单地以索要发票为由拒绝退款。

3. 若顾客以索要发票为名进行恶意退款：

   • 虽然这种情况较为少见，但如果顾客确实存在以索要发票为名进行恶意退款的行为，您应当保留相关证据，如交易记录、沟通记录等，以便在必要时维护自己的合法权益。
   • 在这种情况下，您可以考虑通过法律途径解决纠纷，如向消费者协会投诉、提起民事诉讼等。