您有权拒绝对方退回锂电池的要求，但需根据具体情况判断。以下从不同角度为您详细分析：

一、从合同角度分析

1. 若双方未就退货达成明确约定
   根据《民法典》合同编的相关规定，买卖合同成立后，双方应按照约定履行义务。若您在出售锂电池时，未与买家就退货事宜作出明确约定（如未承诺“无理由退货”或未约定退货条件），则您有权拒绝买家的退货要求。因为合同未约定退货条款时，买家单方面要求退货缺乏合同依据。

2. 若双方已就退货达成明确约定
   若您在出售时与买家明确约定了退货条件（如“七天内无理由退货”或“质量问题可退货”），且买家符合退货条件，则您应当履行退货义务。此时拒绝退货可能构成违约，买家有权要求您承担违约责任。

二、从产品质量角度分析

1. 若锂电池存在质量问题
   根据《消费者权益保护法》第二十四条，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。若买家能证明锂电池存在质量问题（如电池容量不足、漏液等），则您应当接受退货，并可能需承担退货产生的合理费用。

2. 若锂电池无质量问题
   若锂电池无质量问题，且双方未就退货达成明确约定，则买家无权要求退货。您拒绝退货的行为不违反法律规定。

三、从实际操作角度建议

1. 与买家协商
   建议首先与买家沟通，了解其退货的具体原因。若买家因个人原因（如不需要、买错了等）要求退货，且您不同意，可明确告知其无权退货，并建议其通过二手交易平台转卖。

2. 保留证据
   若买家坚持退货并可能采取不当手段（如投诉、骚扰等），建议您保留相关证据（如聊天记录、交易凭证等），以备不时之需。

3. 法律途径
   若买家无理取闹或采取违法行为（如强买强卖、威胁等），您可向公安机关报案，或通过法律途径维护自身权益。

总结：您是否有权拒绝退货，关键在于双方是否就退货达成明确约定，以及锂电池是否存在质量问题。若均无，则您有权拒绝退货。如有疑问或需要进一步帮助，可直接向我咨询。