如果你参与了虚开增值税发票的行为，且对方不退还相关款项，你确实可能面临一定的法律责任。下面我将从多个角度为你详细分析这个问题。

1. 虚开增值税发票的法律后果：

   • 虚开增值税发票是违法行为，根据《中华人民共和国刑法》的相关规定，虚开增值税专用发票或者虚开用于骗取出口退税、抵扣税款的其他发票的，处三年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金。
   • 如果虚开的税款数额较大或者有其他严重情节的，还可能面临更严重的刑罚。

2. 你的责任判定：

   • 如果你明知对方虚开增值税发票而参与其中，无论是出于何种目的，你都可能被视为共犯，承担相应的法律责任。
   • 如果你在不知情的情况下被卷入，且能及时向有关部门报告并配合调查，可能能够减轻或免除责任。

3. 对方不退还款项的处理：

   • 首先，你可以尝试通过协商或调解的方式解决纠纷，要求对方退还相关款项。
   • 如果协商无果，你可以考虑通过法律途径追讨，比如向法院提起诉讼，要求对方承担民事责任并赔偿损失。

4. 建议与措施：

   • 立即停止一切与虚开增值税发票相关的行为，并保留所有相关证据。
   • 咨询专业律师（比如我），了解具体的法律风险和应对措施。
   • 如果可能，积极与对方沟通，寻求和解或协商解决方案。
   • 如果无法和解，及时准备法律材料，通过法律途径维护自己的合法权益。

综上所述，虚开增值税发票是严重的违法行为，如果你参与其中且对方不退还款项，你确实可能面临法律责任。因此，我建议你尽快采取行动，咨询专业律师并寻求合适的解决方案。