不能仅因合同双方约定了不能设立的物权，就一方不履行合同。下面我来详细解释一下：

首先，我们要明确一点，合同是双方自愿达成的约定，每方都应承担相应的义务和享有相应的权利。如果合同中约定了某一方需要履行特定的义务，比如设立某个物权，那么这一方就应当尽力去履行。

然而，如果合同中约定的物权是不能设立的，比如违反了法律法规的强制性规定，或者违反了公序良俗等，那么这个约定本身就是无效的。在这种情况下，虽然约定无效，但并不意味着合同的其他部分也无效，也不意味着另一方就可以不履行合同中的其他义务。

如果因为物权不能设立而导致合同无法继续履行，或者履行会产生不公平的结果，那么双方应当协商解决，或者通过法律途径来寻求救济。比如，可以协商修改合同条款，或者解除合同，并根据合同的具体情况来处理已经履行的部分和未履行的部分。

所以，总的来说，不能仅因为合同中约定了不能设立的物权，就一方不履行合同。双方应当根据实际情况来协商处理，并遵守法律法规的规定。如果你在这方面遇到了具体的法律问题，可以直接向我咨询，我会为你提供更详细的法律建议。