在货物买卖合同纠纷中，若退货时发现货物少了，赔偿责任的归属需根据具体情况来判断。以下是我从不同角度为您进行的分析：
若退货时货物短缺是由于卖方原因导致：
- 法律背景：根据《中华人民共和国民法典》的相关规定，卖方有义务按照合同约定的数量和质量交付货物。若因卖方原因导致货物在退货过程中短缺，卖方应承担相应的赔偿责任。
- 建议行动：您应首先与卖方沟通，说明退货时货物短缺的情况，并要求卖方进行赔偿。若卖方拒绝赔偿或无法联系到卖方，您可以考虑通过法律途径解决，如向法院提起诉讼或申请仲裁。
若退货时货物短缺是由于物流或运输公司原因导致：
- 法律背景：若货物在运输过程中发生短缺，且该短缺并非由卖方或您的原因造成，那么根据运输合同的约定，物流或运输公司可能需承担赔偿责任。
- 建议行动：您应立即联系物流或运输公司，说明货物短缺的情况，并要求其进行赔偿。同时，保留好相关证据，如运输单据、货物照片等，以便在需要时提供证明。若物流或运输公司拒绝赔偿，您可以考虑向相关部门投诉或通过法律途径解决。
若退货时货物短缺是由于您自身原因导致：
- 法律背景：若货物短缺是由于您自身的原因，如未妥善保管货物、错误操作导致货物损坏或丢失等，那么您可能需要自行承担损失。
- 建议行动：在这种情况下，您应首先反思自身行为，并尝试与卖方协商解决方案。若卖方同意承担部分或全部损失，那是最好的结果。若卖方不同意，您可能需要自行承担损失，并从中吸取教训，避免类似情况再次发生。
在处理此类纠纷时，我还建议您注意以下几点：
- 保留证据：无论是与卖方沟通、与物流或运输公司交涉，还是准备通过法律途径解决，都应保留好相关证据，如合同、运输单据、货物照片、沟通记录等。
- 及时沟通：发现货物短缺后，应尽快与相关方沟通，说明情况并要求赔偿。拖延时间可能会导致证据丢失或责任难以界定。
- 寻求专业帮助：若纠纷复杂或难以解决，您可以考虑寻求专业律师的帮助。律师可以为您提供法律咨询、代理诉讼或仲裁等服务，帮助您更好地维护自身权益。
最后，我想强调的是，每个案件都有其独特性，上述分析仅供参考。在实际操作中，您应根据具体情况灵活应对，并咨询专业律师以获取更准确的法律建议。若您有任何疑问或需要进一步的法律帮助，请随时向我咨询。