乡政府下发的不让建造、改造、扩建的文件，是否有法律依据，需结合具体情况判断，不能一概而论。以下从不同角度进行分析：

1. 若文件基于合法规划或公共利益

• 法律依据：根据《城乡规划法》第四十四条，在城市、镇规划区内进行建筑物、构筑物等工程建设的，建设单位或个人应当申请办理建设工程规划许可证。若乡政府文件是为了执行上级规划或保护公共利益（如防止乱占耕地、保护生态环境等），且符合法定程序，则具有合法性。
• 例子：若某村计划在耕地保护区内扩建房屋，乡政府依据《土地管理法》和本地规划，下发文件禁止扩建，此类文件通常合法。

2. 若文件缺乏上位法依据或程序违法

• 无依据情形：若乡政府文件未引用任何法律、法规，或仅以“内部决定”“临时通知”等形式禁止建造、改造、扩建，且无法证明其与公共利益相关，则可能缺乏法律依据。
• 程序违法情形：根据《行政处罚法》第十七条，行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。若乡政府未通过合法程序（如听证、公示）制定文件，或超越职权范围（如禁止合法宅基地翻建），则文件可能因程序违法而无效。
• 例子：若乡政府未经调查，直接以“影响村容”为由禁止村民翻建危房，且未提供法律依据，此类文件可能被认定为违法。

3. 特殊情形：紧急措施或临时管制

• 法律依据：在自然灾害、公共卫生事件等紧急情况下，乡政府可依据《突发事件应对法》采取临时管制措施（如禁止施工以防止次生灾害）。但此类措施需符合比例原则，且在紧急状态结束后应及时解除。
• 例子：若某地发生地震，乡政府临时禁止灾区重建以排查安全隐患，此类文件在紧急期间通常合法。

法律建议

1. 核查文件依据：要求乡政府提供文件制定的法律依据（如具体法律条文、规划文件），并核实其是否与上位法冲突。
2. 程序审查：检查文件是否经过合法程序（如公示、听证），若程序违法，可向上一级政府申请行政复议或提起行政诉讼。
3. 区分性质：若禁止行为涉及合法宅基地翻建、危房改造等民生问题，需特别关注文件是否侵犯公民合法权益。

若您遇到此类文件，建议直接向我咨询，提供文件具体内容及背景，我将进一步分析其合法性并给出维权建议。