针对夜市摊噪声扰民的问题，处罚对象通常是摊主，但具体还需根据实际情况和当地法规来判断。以下是从不同角度的详细分析：
摊主作为直接责任人：
- 在大多数情况下，夜市摊的噪声是由摊主的经营活动产生的，如使用音响设备、大声叫卖等。因此，摊主作为噪声的直接产生者，应当承担相应的法律责任。
- 根据《中华人民共和国环境噪声污染防治法》的相关规定，任何单位和个人都有保护环境的义务，不得制造噪声干扰他人正常生活。摊主若违反此规定，将可能面临警告、罚款等行政处罚。
夜市管理方的责任：
- 如果夜市管理方对摊主的噪声行为未尽到管理职责，如未制定有效的噪声管理制度、未对摊主进行噪声控制方面的培训或监督等，那么夜市管理方也可能需要承担一定的法律责任。
- 在这种情况下，夜市管理方可能因管理不善而被相关部门责令改正，甚至可能面临罚款等处罚。不过，这并不意味着摊主可以免除责任，摊主仍需对其自身的噪声行为负责。
特殊情况下的责任划分：
- 如果噪声扰民问题是由多个摊主共同造成的，且难以确定具体是哪个摊主的行为导致的，那么可能需要根据实际情况对多个摊主进行共同处罚或要求他们共同承担责任。
- 另外，如果夜市摊的噪声问题是由于夜市所在地的规划、设计或建设等方面存在缺陷导致的，如夜市与居民区距离过近、缺乏有效的隔音设施等，那么相关部门也可能需要对夜市所在地的规划、设计或建设单位进行处罚或要求其进行整改。
法律建议：
- 对于受到夜市摊噪声扰民影响的居民，可以先尝试与摊主或夜市管理方进行沟通协商，寻求解决方案。
- 如果沟通协商无果，可以向当地环保部门或城市管理部门投诉举报，要求相关部门对噪声扰民问题进行调查处理。
- 在投诉举报时，建议居民提供详细的噪声扰民情况描述、相关证据（如录音、录像等）以及自己的联系方式等信息，以便相关部门能够及时、有效地处理问题。
可能后果：
- 如果摊主或夜市管理方被确认存在噪声扰民行为，将可能面临警告、罚款等行政处罚。
- 对于情节严重的噪声扰民行为，还可能构成犯罪，依法追究刑事责任。不过，这种情况在夜市摊噪声扰民问题中相对较少见。
总之，夜市摊噪声扰民问题的处罚对象通常是摊主，但具体还需根据实际情况和当地法规来判断。如果居民遇到此类问题，建议及时与相关部门沟通并寻求法律帮助。