遗留下来的果树看护房是否违法，需结合具体情况判断，以下分情况说明：
不属于违法建筑的情况
- 符合设施农业用地要求：如果看护房作为农业设施用地中的配套设施，建设前经过了合法的审批程序（如向当地乡镇政府或县级自然资源部门备案），且在规定的面积标准和建设要求范围内建设，那么它不属于违法建筑，无需拆除。配套设施用地规模通常由各省（区、市）自然资源主管部门会同农业农村主管部门根据生产规模和建设标准合理确定。
- 历史遗留问题：对于建设时间较早、在当时无明确法律规定或审批要求的看护房，且一直用于果园的看守管理等农业生产相关用途，通常会综合考虑历史背景、实际使用情况等因素，不一定认定为违法建筑并拆除。
- 符合当地政府特别规定：若当地政府有特别规定，允许在果园里建一定规格的管理房，并且实际建设的房屋也符合这些规定，那么它同样不属于违法建筑。
属于违法建筑的情况
- 未履行审批手续：如果未经任何部门批准，擅自建设看护房，那么它可能会被认定为违法建筑，面临拆除的风险。
- 超出规定标准：即使履行了审批手续，但如果建设的看护房超出了规定的面积标准、建筑高度、使用范围等，超出部分也可能被认定为违法建设，相关部门可能会要求拆除超出部分甚至整个建筑。
- 改变土地用途：如果将看护房用于非农业生产相关的商业经营等其他用途（如改造成农家乐、商铺等），违反了设施农业用地的规定，这种情况下也可能被认定为违法建筑并面临拆除。
法律建议：
- 核实审批手续：首先，您需要核实看护房的建设是否经过了合法的审批程序，并保留好相关审批文件。
- 了解当地规定：其次，了解当地政府对于果园看护房的具体规定，包括面积标准、建筑高度、使用范围等，以确保看护房符合规定。
- 咨询相关部门：如果您对看护房的合法性存在疑问，建议咨询当地自然资源部门或相关政府部门，以获取准确的政策和法规信息。
可能后果：
- 如果看护房被认定为违法建筑，您可能面临拆除的风险，并可能需要承担相应的法律责任。
- 如果看护房符合规定，那么您可以继续合法使用它，无需担心被拆除的问题。
总之，遗留下来的果树看护房是否违法，需结合具体情况进行判断。在建设和使用过程中，应严格遵守相关法律法规和政策规定，确保房屋的合法性和合规性。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。