结论：擅自从事出版物发行业务，一般由出版行政主管部门负责处罚。

详细分析：

1. 法律依据：

   • 根据《出版管理条例》的相关规定，未经批准，擅自设立出版物的出版、印刷或者复制、进口、发行单位，或者擅自从事出版物的出版、印刷或者复制、进口、发行业务，假冒出版单位名称或者伪造、假冒报纸、期刊名称出版出版物的，由出版行政主管部门、工商行政管理部门依照法定职权予以取缔；依照刑法关于非法经营罪的规定，依法追究刑事责任；尚不够刑事处罚的，没收出版物、违法所得和从事违法活动的专用工具、设备，违法经营额1万元以上的，并处违法经营额5倍以上10倍以下的罚款，违法经营额不足1万元的，可以处5万元以下的罚款；侵犯他人合法权益的，依法承担民事责任。

2. 处罚主体：

   • 在上述规定中，明确指出了由“出版行政主管部门”负责取缔擅自从事出版物发行业务的行为，并可以处以罚款等行政处罚。出版行政主管部门通常指的是各地的新闻出版局或类似机构，它们负责监管出版物的出版、发行等环节，确保市场秩序和公共利益。

3. 其他可能的处罚：

   • 除了出版行政主管部门的处罚外，如果擅自从事出版物发行业务的行为还涉及其他违法行为，如侵犯知识产权、虚假宣传等，那么还可能受到工商行政管理部门、知识产权管理部门等其他相关部门的处罚。

4. 实际案例与操作：

   • 在实际操作中，如果发现有人擅自从事出版物发行业务，出版行政主管部门会进行调查取证，确认违法行为后，会依法作出处罚决定。处罚决定可能包括没收违法所得、罚款、取缔等措施。同时，如果违法行为构成犯罪，还会移送司法机关追究刑事责任。

建议与后续行动：

• 如果你发现有人擅自从事出版物发行业务，可以向当地的出版行政主管部门举报，他们会依法进行调查处理。
• 如果你自己或你的企业涉及出版物发行业务，务必确保已经获得了相关的批准和许可，遵守相关法律法规，避免不必要的法律风险。

如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询，我会根据你的具体情况提供针对性的解答。