您好，关于您提出的“土地手册上不是永久农田是否可以建房”的问题，这涉及到我国严格的耕地保护和土地用途管制制度。以下是我为您提供的详细解答：

首先，需要明确的是，无论土地是否被划定为永久基本农田，未经合法审批，均不得擅自改变其用途进行建设。我国对耕地实行特殊保护和用途管制，这是为了保障国家粮食安全和农业可持续发展。

对于非永久基本农田的一般耕地，虽然其用途相对灵活一些，但仍然受到严格的限制。根据相关规定，一般耕地主要用于粮食和棉、油、糖、蔬菜等农产品及饲草饲料生产。在不破坏耕地耕作层且不造成耕地地类改变的前提下，可以适度种植其他农作物。然而，这并不意味着可以在一般耕地上随意建房。

实际上，我国已经出台了一系列政策文件，明确禁止在耕地上进行非农建设，包括建房、挖湖造景、种植草皮等行为。特别是针对农村乱占耕地建房问题，自然资源部、农业农村部联合下发了《关于农村乱占耕地建房“八不准”的通知》，其中明确规定了“不准占用永久基本农田建房”以及“不准在承包耕地上违法建房”等八种情形，每一种情形都涵盖了多种违法情形，并依法作出了相应的处罚规定。

因此，即使土地手册上标注的不是永久农田，也不能擅自在其上建房。如果您有建房需求，应当依法办理用地审批手续，确保用地合法合规。同时，建议您在规划建房前，先咨询当地自然资源部门或农业农村部门，了解具体的用地政策和审批流程，以免因违法用地而面临处罚和损失。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的咨询，请随时告诉我。