结论：在此情况下，责任归属并非绝对，需根据具体情形来判断是买方的责任还是卖方的责任，亦或是双方均有一定责任。以下是从不同角度进行的分析：
买方责任角度
未履行拒收通知义务：
- 在货物买卖合同中，若买方决定拒收货物，通常应及时通知卖方及物流方。这是买方的一项基本义务，旨在确保双方对货物的处理有明确的沟通。
- 若买方未给快递打电话拒收，且未通过其他方式（如在线平台通知、邮件等）明确告知卖方拒收意图，则可能构成对通知义务的违反。
可能承担的后果：
- 若因买方未履行拒收通知义务而导致货物丢失、损坏或产生额外费用，买方可能需承担相应的赔偿责任。
- 在此案例中，若商家因买方未明确拒收而误认为货物已正常接收并进行了退款，后续发现货物实际未被接收或产生其他问题，买方可能需承担部分或全部责任。
卖方责任角度
退款操作的合理性：
- 卖方在未经充分确认货物状态的情况下进行退款，可能存在一定的操作风险。
- 若卖方在退款前未与买方或物流方进行充分沟通，以确认货物是否已被拒收或存在其他问题，则卖方可能需对退款操作承担一定责任。
可能承担的后果：
- 若因卖方操作不当而导致退款错误或产生其他纠纷，卖方可能需承担相应的法律责任，包括但不限于重新支付款项、赔偿损失等。
双方共同责任角度
沟通不畅：
- 在此案例中，买方未履行拒收通知义务与卖方未经充分确认进行退款操作，均体现了双方在沟通上的不畅。
- 双方应共同承担因沟通不畅而导致的后果，包括但不限于协商解决纠纷、分担损失等。
建议的解决方式：
- 双方应首先进行友好协商，明确各自的责任和义务。
- 若协商无果，可考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁等。
法律建议：
- 对于买方而言，建议在决定拒收货物时及时通知卖方及物流方，并保留好相关通知证据。
- 对于卖方而言，建议在退款前与买方及物流方进行充分沟通，确认货物状态后再进行退款操作。
- 若双方已产生纠纷且无法自行解决，建议及时咨询专业律师以获取法律帮助。
可能法律后果：
- 若因买方未履行拒收通知义务而导致卖方遭受损失，卖方有权要求买方承担赔偿责任。
- 若因卖方操作不当而导致买方遭受损失，买方有权要求卖方承担相应的法律责任。
- 在双方均有一定责任的情况下，法院或仲裁机构可能根据具体情况判决双方分担损失或承担其他相应的法律责任。