首先，我们要明确一点：老人留下的地方，即遗产，其使用权或所有权在继承后归属于继承人。关于在这个地方建房是否违法，我们需要从以下几个方面进行考虑：

1. 土地使用权：

   • 如果继承人拥有该地块的合法土地使用权（如宅基地使用权、国有土地使用权等），并且该使用权允许在此建设房屋，那么建房行为通常是合法的。
   • 如果继承人没有合法的土地使用权，或者土地使用权不允许在此建设房屋（如农用地、林地等），那么建房行为就可能构成违法。

2. 规划许可：

   • 在城市或某些特定区域，建房需要获得规划部门的许可，即建设规划许可证。如果没有获得相应的规划许可，即使拥有土地使用权，建房行为也可能被视为违法。

3. 建筑许可：

   • 除了规划许可外，建房还需要获得建筑部门的许可，即建筑工程施工许可证。这是确保建筑安全、符合建筑规范的重要步骤。没有建筑工程施工许可证而擅自施工，同样可能构成违法。

4. 遗产继承的合法性：

   • 如果遗产继承本身存在争议或未经过合法的继承程序，那么继承人在该地块上建房的行为也可能受到质疑。

综上所述，老人留下的地方建房是否违法，取决于多个因素，包括土地使用权、规划许可、建筑许可以及遗产继承的合法性等。因此，在决定建房之前，建议继承人咨询当地相关部门，了解具体的法律法规和政策要求，确保建房行为的合法性。

如果你在这方面有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。