对于虚开增值税专用发票罪退赃是否会退给下游企业的问题，需根据具体情况分析，并非一定会退给下游企业。

一. 虚开增值税专用发票罪退赃的处理

虚开增值税专用发票罪的退赃，主要是指退还因虚开行为而非法获得的税款或相关利益。根据《中华人民共和国刑法》的相关规定，对于虚开增值税专用发票的犯罪行为，会依法进行处罚，包括罚金、有期徒刑等，并追缴其非法所得。

• 退赃的对象：退赃通常是对国家税收损失的补偿，因此，退赃的对象主要是国家税务机关，而不是下游企业。
• 退赃的用途：退还的税款会被用于弥补国家税收的损失，而不是直接退还给下游企业。

二. 下游企业的权益

• 下游企业的损失：如果下游企业因上游企业的虚开行为而遭受了经济损失，如下游企业被税务机关追缴税款、滞纳金或受到其他行政处罚，下游企业可以依法向上游企业追偿。
• 法律途径：下游企业可以通过民事诉讼等途径，要求上游企业赔偿因其虚开行为而造成的经济损失。

三. 总结

虚开增值税专用发票罪的退赃主要是退还给国家税务机关，用于弥补国家税收的损失。下游企业如果因上游企业的虚开行为而遭受经济损失，应通过法律途径向上游企业追偿，而不是期待退赃直接退还给下游企业。

我建议您，如果作为下游企业遇到了上游企业虚开增值税专用发票的情况，应及时向税务机关报告，并配合税务机关的调查，以维护自己的合法权益。同时，也可以考虑通过法律途径向上游企业追偿因虚开行为而造成的经济损失。如有进一步需要，您可以继续咨询我。