将山上的表层石头取下来是否违法，需分情况讨论：

1. 合法情况：

   • 个人使用且量小：如果您是在自己合法拥有的土地上，为了个人非商业用途（如修建房屋基础、铺设小路等），且取用的石头数量较少，没有造成大规模的环境破坏或资源浪费，这种行为通常不被视为违法。但需注意，即使在自己土地上，也应避免对环境造成不必要的破坏，并遵守当地关于土地利用和环境保护的相关规定。
   • 已获许可：如果您已经获得了相关部门的采矿许可或资源利用许可，且按照许可的范围和条件进行取石，那么这种行为是合法的。

2. 违法情况：

   • 未获许可擅自采矿：根据《中华人民共和国矿产资源法》及相关规定，矿产资源属于国家所有，任何单位和个人未经许可不得擅自开采。如果您在未取得采矿许可证的情况下，擅自开采山上的石头，即使只是表层石头，也可能构成非法采矿，面临行政处罚，甚至可能构成犯罪，需承担相应的法律责任。
   • 破坏环境或资源：即使您获得了采矿许可，但如果取石行为导致了严重的环境破坏（如水土流失、生态破坏等）或资源浪费，也可能违反相关法律法规，面临法律责任。
   • 进入他人矿区或国家规划矿区采矿：如果您擅自进入他人矿区范围或国家规划矿区、对国民经济具有重要价值的矿区进行采矿，即使只是取表层石头，也可能构成非法采矿罪，面临更严重的法律后果。

法律建议：

• 在进行任何取石行为前，务必了解并遵守相关法律法规，确保自己的行为合法合规。
• 如果您需要取用山上的石头，建议先向当地自然资源部门或相关部门咨询并申请必要的许可。
• 在取石过程中，应注意保护环境，避免对生态造成破坏。

可能后果：

• 如果您的取石行为被认定为违法，可能面临行政处罚，如罚款、没收违法所得等。
• 在严重情况下，如构成非法采矿罪，可能面临刑事处罚，包括有期徒刑、拘役或管制，并处或单处罚金。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。