楼下饭店往小区排烟是违法的。这一行为违反了环境保护相关法律法规，并可能侵害居民的相邻权。以下是对此问题的详细分析：

1. 法律依据与违法性分析：

   • 根据《中华人民共和国大气污染防治法》第八十一条，明确禁止在居民住宅楼、未配套设立专用烟道的商住综合楼以及商住综合楼内与居住层相邻的商业楼层内新建、改建、扩建产生油烟、异味、废气的餐饮服务项目。楼下饭店往小区排烟，显然违反了这一规定。
   • 同时，该法第一百一十八条还规定，对于违反上述规定的行为，由县级以上地方人民政府确定的监督管理部门责令改正；拒不改正的，予以关闭，并处一万元以上十万元以下的罚款。

2. 实际影响与后果：

   • 油烟污染：饭店排放的油烟和异味可能侵入周边居民住宅，对居民的正常生活环境造成污染，影响居民的生活质量。
   • 居民权益受损：长期受到油烟和异味的影响，居民身心健康可能受到损害，且居民的正常晾晒衣物等活动也可能受到影响。

3. 建议与措施：

   • 饭店经营者应严格遵守相关法律法规，确保油烟达标排放，避免对附近居民造成不良影响。
   • 若饭店确实需要排烟，应考虑安装油烟净化设施，并确保其正常使用和定期维护。
   • 居民若发现楼下饭店存在违法排烟行为，应先尝试与饭店协商解决；协商不成的，可以向环保部门、城市管理执法部门或社区居民委员会投诉举报，以维护自己的合法权益。

综上所述，楼下饭店往小区排烟是违法的，且对居民的正常生活造成了不良影响。饭店经营者应依法经营，确保油烟达标排放；居民也应积极维护自己的合法权益，对违法行为进行投诉和举报。