第一次离婚被驳回之后双方都没有起诉，并不算离婚。下面我为你详细解释：

在婚姻法律关系中，离婚是一个需要经过法定程序才能实现的结果。一般来说，离婚可以通过协议离婚或诉讼离婚两种方式进行。协议离婚需要双方自愿并达成离婚协议，而诉讼离婚则需要通过法院进行裁决。

对于你提到的“第一次离婚被驳回”的情况，这通常指的是在诉讼离婚中，法院没有支持双方的离婚请求。在这种情况下，双方的婚姻关系并没有因为法院的驳回而自动解除。换句话说，只要双方没有再次通过协议或诉讼的方式成功离婚，他们就仍然处于婚姻关系中。

因此，即使第一次离婚被驳回后双方都没有再次起诉，也并不意味着他们已经离婚。双方的婚姻关系仍然有效，除非他们后续通过合法的方式解除了婚姻关系。

如果你对这个问题还有进一步的疑问，或者需要关于离婚方面的其他法律咨询，欢迎随时向我提问。