结论：在公司购买的办公用品退货的情况下，对方（即供应商或销售方）通常需要提供退货单，但具体是否需要以及退货单的形式和内容可能因合同约定、交易习惯或法律规定而有所不同。以下从不同角度进行分析：
一、合同约定角度
合同中有明确约定：如果公司与供应商在购买合同中明确约定了退货流程，包括退货单的提供、形式、内容等，那么双方应严格按照合同约定执行。在这种情况下，如果合同规定退货时需要提供退货单，那么对方就必须提供。
合同中无明确约定：如果合同中没有明确约定退货单的相关事宜，那么双方可以协商确定退货流程。在协商过程中，可以参考行业惯例或交易习惯，以确定是否需要提供退货单以及退货单的具体要求。
二、交易习惯角度
行业惯例：在某些行业，退货时提供退货单可能是一种普遍接受的交易习惯。如果公司所处的行业有这样的惯例，那么对方在退货时提供退货单就更为合理和必要。
双方交易历史：如果公司与对方之前有过多次交易，并且每次退货时都提供了退货单，那么可以认为双方已经形成了这样的交易习惯。在这种情况下，对方在退货时继续提供退货单就更为符合双方的交易习惯。
三、法律规定角度
一般法律规定：虽然我国法律没有明确规定退货时必须提供退货单，但退货单作为证明退货事实和退货内容的重要凭证，对于保护双方权益具有重要意义。因此，从法律精神的角度来看，提供退货单是合理且必要的。
特定法律规定：在某些特定情况下，如涉及消费者权益保护、产品质量问题等，相关法律可能对退货流程有更为详细的规定。如果公司的退货情况符合这些特定法律的规定，那么对方在退货时就需要按照法律规定提供相应的退货单或其他证明文件。
四、实际操作建议
与对方沟通：在退货前，公司应与对方沟通退货流程，明确是否需要提供退货单以及退货单的具体要求。这有助于避免后续纠纷和误解。
保留相关证据：无论对方是否提供退货单，公司都应保留好退货的相关证据，如退货通知、退货物流信息、退货验收记录等。这些证据在后续可能发生的纠纷中具有重要的证明作用。
完善合同条款：为了避免未来类似纠纷的发生，公司可以在与供应商签订购买合同时，明确约定退货流程、退货单的要求以及违约责任等条款。这样可以在纠纷发生时提供更为明确的法律依据。
进一步思考：如果对方拒绝提供退货单或提供的退货单不符合要求，公司可以采取哪些措施来维护自己的权益？在这种情况下，公司可以先与对方进行协商，要求对方提供符合要求的退货单。如果协商无果，公司可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁等。在诉讼或仲裁过程中，公司需要提供充分的证据来证明自己的主张，包括退货通知、退货物流信息、退货验收记录等。因此，保留好相关证据对于维护公司权益至关重要。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。