是的，两个单位中间三年没有交养老保险，这三年确实会影响退休金。具体来说：

1. 养老保险缴费年限的影响：退休金的计算与养老保险的缴费年限密切相关。中间断缴三年，意味着这三年的缴费年限将不被计入总的缴费年限中。而缴费年限是计算退休金的重要因素之一，缴费年限越长，退休金通常越高。因此，这三年的断缴会直接导致退休金的减少。

2. 个人账户储存额的影响：养老保险的个人账户储存额也是计算退休金的重要依据。在断缴期间，个人账户不会有新的资金注入，因此储存额会相应减少。这将直接影响到退休金的计算，使得退休金数额降低。

3. 可能的其他影响：除了上述直接影响外，断缴养老保险还可能对个人的社保记录、信用记录等产生间接影响。这些记录在某些情况下可能影响到个人的贷款、就业等方面。

综上所述，中间三年没有交养老保险确实会对退休金产生影响。建议您尽快了解并处理社保缴纳问题，以确保自己的权益不受损害。如果您有具体的法律问题或需要进一步的咨询，请随时告诉我。