关于建楼房涉及林地和果园的处罚问题，首先明确结论：处罚主体通常为林业主管部门或相关行政机关，具体取决于违法行为的性质和情节。以下从不同角度进行详细分析：
一、处罚主体与法律依据
林业主管部门：
- 根据《中华人民共和国森林法》及相关实施条例，任何单位或个人未经批准擅自改变林地用途，包括在林地上建楼房，均属于违法行为。
- 林业主管部门有权对这类违法行为进行查处，并依法给予行政处罚，如罚款、责令恢复原状等。
其他相关行政机关：
- 如果建楼房行为同时涉及违反城乡规划、土地管理等方面的法律法规，那么城乡规划部门、自然资源部门等也可能成为处罚主体。
- 例如，若建楼房行为违反了城乡规划，城乡规划部门有权依据相关规划法规进行处罚。
二、处罚类型与情节
行政处罚：
- 对于未经批准擅自改变林地用途建楼房的行为，林业主管部门通常会给予行政处罚，包括但不限于罚款、责令限期拆除违法建筑、恢复林地原状等。
- 处罚的轻重会根据违法行为的情节、后果以及违法者的主观恶性等因素进行综合考量。
刑事责任：
- 在某些严重情况下，如建楼房行为导致林地大量毁坏，构成犯罪的，依法应当追究刑事责任。
- 此时，司法机关将介入调查，并根据刑法相关规定对违法者进行刑事处罚。
三、具体情形与处罚建议
未经批准擅自建房：
- 如果建楼房行为完全未经任何部门批准，且占用了林地或果园，那么违法者将面临林业主管部门的严厉处罚。
- 建议违法者立即停止违法行为，主动与林业主管部门沟通，争取从轻处理。
部分批准但违规建房：
- 如果建楼房行为部分获得了相关部门的批准，但违反了批准条件或范围，如超出了批准的建筑面积或改变了建筑用途，那么违法者也可能面临处罚。
- 此时，违法者应尽快整改，符合批准条件，以避免更严重的法律后果。
涉及多部门管辖的违法行为：
- 如果建楼房行为同时涉及违反多个部门的法律法规，如同时违反了林业法规和城乡规划法规，那么违法者可能面临多个部门的联合处罚。
- 建议违法者全面了解自己的违法行为，主动与各相关部门沟通，积极配合整改工作。
最后需要强调的是，建楼房涉及林地和果园的处罚问题是一个复杂的法律问题，具体处罚主体和处罚类型会根据违法行为的性质、情节以及相关法律法规的规定而有所不同。因此，如果您或您身边的人遇到了类似的问题，建议直接向我咨询，以便获得更具体、更专业的法律建议。