针对您提出的问题，关于货物买卖合同纠纷中的退款问题，我首先给出结论：您有权要求退货退款，但具体实现方式需根据实际情况分析。下面我将详细解释并给出建议。
一、核心结论
您作为买方，已经通过中间人支付了货款给卖方（老板），现在要求退货退款，但中间人不配合。在这种情况下，您可以直接向卖方提出退货退款的要求，因为买卖合同关系是直接建立在您和卖方之间的。
二、详细分析
合同关系分析：
- 您与卖方之间建立了货物买卖合同关系，您支付了货款，卖方应交付符合约定的货物。
- 中间人在此交易中可能只是起到了传递货款的作用，并非合同的当事人。
退货退款权利：
- 如果卖方交付的货物存在质量问题或不符合合同约定，您有权要求退货退款。
- 您的这一权利是基于买卖合同中的违约责任和消费者权益保护法规。
中间人的角色：
- 中间人不配合退款，并不影响您直接向卖方主张权利。
- 如果中间人在此过程中存在欺诈或不当行为，您还可以考虑追究其法律责任。
三、具体建议
与卖方沟通：
- 首先尝试与卖方直接沟通，明确表达您的退货退款要求，并说明理由。
- 保留好沟通记录，以备后续可能需要作为证据使用。
收集证据：
- 收集购买货物的相关凭证，如转账记录、聊天记录、货物照片等。
- 如果货物存在质量问题，可以拍摄照片或视频作为证据。
法律途径：
- 如果卖方拒绝退货退款，您可以考虑通过法律途径维护自己的权益。
- 可以向当地消费者协会投诉，或者向法院提起民事诉讼。
中间人的责任：
- 如果中间人在此过程中确实存在不当行为，您可以考虑一并追究其责任。
- 但请注意，追究中间人责任并不影响您直接向卖方主张退货退款的权利。
综上所述，您有权要求退货退款，并应直接向卖方提出。如果遇到困难，可以寻求法律帮助来维护自己的合法权益。希望这些建议能对您有所帮助。