楼上服装厂楼下开饭店是否违法，需根据具体情况判断，主要取决于房屋规划用途、环保要求、证照办理以及相邻关系等多个因素。以下从不同角度为您详细分析：
一、房屋规划用途
若楼下房屋规划用途为商业用房：
- 饭店经营者需依法取得营业执照、食品经营许可证等相关证照，并满足环保、卫生、消防等各方面的要求。
- 在此情况下，楼下开设饭店是合法合规的，但需确保经营活动不违反其他法律法规或小区管理规约。
若楼下房屋规划用途为住宅：
- 根据《中华人民共和国民法典》的相关规定，业主不得擅自将住宅改变为经营性用房。
- 未经有利害关系的业主一致同意及未办理相关合法手续，将住宅改为饭店经营场所是违法的。
二、环保要求
- 根据《中华人民共和国大气污染防治法》，排放油烟的餐饮服务业经营者应安装油烟净化设施并保持正常使用，确保油烟达标排放，防止对附近居民的正常生活环境造成污染。
- 禁止在居民住宅楼、未配套设立专用烟道的商住综合楼以及商住综合楼内与居住层相邻的商业楼层内新建、改建、扩建产生油烟、异味、废气的餐饮服务项目。
- 若饭店违反上述环保要求，将面临法律处罚。
三、证照办理
- 从事餐饮服务需要依法取得食品经营许可证、营业执照、卫生许可证等必要证件。
- 无证经营是违法的，将受到相关部门的处罚，包括罚款、责令停业等。
四、相邻关系
- 即使从法律法规层面看楼下开设饭店不存在问题，但还需考虑相邻关系。
- 饭店的经营活动（如噪音、油烟、异味等）可能对楼上服装厂或其他居民的正常生活造成影响。
- 若因此引发纠纷，饭店经营者可能需承担相应的民事责任，包括停止侵害、排除妨碍、赔偿损失等。
五、实际操作与影响
- 在居民楼下开设饭店可能带来安全隐患，如火灾风险增加、油烟排放问题以及可能引发的噪音和卫生问题等。
- 这些问题不仅可能对居民的居住环境和生活质量造成不良影响，还可能因违反相关法律法规和小区管理规约而面临相关部门的处罚。
建议：
- 在决定是否在楼下开设饭店前，饭店经营者应充分了解相关法律法规、小区管理规约以及可能产生的影响。
- 确保合法合规经营，避免引发不必要的法律纠纷和不良后果。
- 若已开设饭店并存在上述问题，建议及时整改并寻求法律帮助以解决纠纷。
如有其他疑问或需要进一步的法律帮助，请随时向我咨询。