结论：无人机在给农作物打药后回归途中，若总是距离房屋几米处高空行走，这一行为是否违法需分情况讨论，主要取决于是否对他人合法权益造成侵害或存在潜在危险。

分析：

1. 从侵权责任角度分析：

   • 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。若无人机在飞行过程中，因操作不当或设备故障等原因，导致对房屋或房屋内人员造成损害，如噪音干扰、农药飘洒至房屋或人员身上等，那么无人机操作人可能需要承担相应的侵权责任。
   • 即便无人机未直接造成损害，但如果其飞行行为对房屋内人员的正常生活、休息等造成了不合理干扰，且这种干扰超出了社会一般容忍限度，那么也可能构成对他人合法权益的侵害，需要承担相应责任。

2. 从航空管理角度分析：

   • 无人机飞行需遵守相关的航空管理规定。虽然目前对于低空飞行的具体规定可能因地区而异，但一般来说，无人机在飞行时应避免在人口密集区、建筑物上方等敏感区域低空飞行，以确保公共安全。
   • 若无人机在距离房屋几米处高空行走，且该区域属于限制或禁止无人机飞行的区域，或者飞行高度、速度等不符合相关规定，那么无人机操作人可能面临行政处罚。

3. 从实际操作角度分析：

   • 无人机操作人在进行打药作业时，应事先规划好飞行路线，尽量避免在房屋附近低空飞行。若因作业需要必须经过房屋附近，应采取必要的安全措施，如降低飞行高度时的速度、确保无人机稳定飞行等，以减少对他人合法权益的潜在威胁。
   • 同时，无人机操作人还应关注天气、风向等自然因素，避免因不利条件导致无人机失控或农药飘洒至非目标区域。

建议：

• 无人机操作人在进行打药作业前，应充分了解并遵守相关的航空管理规定和侵权责任法律，确保飞行行为的合法性。
• 在规划飞行路线时，应尽量避免在房屋附近低空飞行，以减少对他人合法权益的潜在威胁。
• 若因作业需要必须经过房屋附近，应采取必要的安全措施，并关注天气、风向等自然因素，确保飞行安全。
• 若因无人机飞行行为导致他人损害或受到行政处罚，无人机操作人应积极承担责任，并采取措施防止类似事件再次发生。

如有更多关于无人机飞行或侵权责任方面的法律问题，可以直接向我咨询。