坐过牢的人可以在你旁边建房子，这一行为本身并不直接受其曾服刑经历的限制。以下是从不同角度对此问题的详细分析：

法律角度

1. 建房权利：在我国，公民享有合法的财产权和居住权，这包括建造自己住房的权利。除非有特定的法律限制（如因犯罪被剥夺某些权利，但通常不包括建房权），否则公民有权在自己的土地上建造房屋。

2. 服刑经历的影响：服刑经历本身并不直接剥夺一个人建造房屋的权利。除非该人在服刑期间或出狱后因其他违法行为（如再次犯罪）被法律限制某些权利，否则其建房行为不受影响。

3. 相邻关系：虽然建房行为本身不受服刑经历限制，但建房时仍需遵守相邻关系的相关规定，如不得侵犯邻居的采光权、通风权等。这些规定与建房者是否曾服刑无关。

实际角度

1. 社会接受度：尽管法律上没有限制，但社会对曾服刑者的接受度可能因地区、文化和个人观念而异。在某些社区，人们可能对曾服刑者在附近建房持保留态度。然而，这并不影响其法律上的建房权利。

2. 规划与审批：建房前需向相关部门申请规划许可和施工许可。这些审批过程主要关注建房的合规性、安全性等，而不涉及建房者的个人历史。

建议与注意事项

• 遵守法律：在建造房屋时，务必遵守所有相关的法律法规，包括但不限于建筑法规、土地使用法规等。
• 尊重相邻权：在建造过程中，应尊重并考虑邻居的权益，避免因建房行为引发不必要的纠纷。
• 了解社区态度：虽然法律上没有限制，但了解并尊重社区对曾服刑者的态度也是明智之举。这有助于减少潜在的冲突和误解。

总结来说，坐过牢的人在法律上是有权在你旁边建房子的，只要他们遵守相关的法律法规和规划要求，并尊重相邻权。如果有任何具体的法律问题或疑虑，可以直接向我咨询，我会为你提供专业的法律建议。