不可以硬来做围墙，因为这可能涉及侵权问题。下面我详细为你解释一下：

首先，从法律角度来看，你和邻居之间已经签订了协议，明确邻居不同意你做围墙。这份协议在法律上是有一定约束力的。如果你擅自违反协议，强行建造围墙，那么就可能构成对邻居合法权益的侵犯，比如可能侵犯邻居的土地使用权、相邻权等。

其次，即使你认为自己的做法有理有据，也应该通过合法途径来解决争议，而不是采取强硬手段。你可以尝试与邻居进行进一步沟通，寻求双方都能接受的解决方案。如果沟通无果，还可以考虑通过法律途径来维护自己的权益，比如向法院提起诉讼，请求法院对争议进行裁决。

最后，我想强调的是，邻里之间和睦相处是非常重要的。在处理类似问题时，我们应该尽量保持冷静和理性，通过友好协商来解决问题。这样不仅能够维护双方的合法权益，还能够促进邻里关系的和谐与稳定。

所以，我建议你不要硬来做围墙，而是应该尊重协议，通过合法途径来解决争议。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。