向海洋非法倾倒废弃物的处罚主体主要是海洋行政主管部门，具体来说，是各级生态环境主管部门（原海洋环境监督管理部门相关职责已整合至生态环境主管部门）。以下从不同角度为你详细分析：

法律依据角度

根据《中华人民共和国海洋环境保护法》的相关规定，生态环境主管部门负责对海洋环境的保护工作进行监督管理，这其中就包括对向海洋非法倾倒废弃物行为的查处。该法明确规定了生态环境主管部门在海洋环境保护方面的职责和权力，对于违反规定向海洋倾倒废弃物的单位或个人，生态环境主管部门有权进行处罚。

处罚主体职责角度

生态环境主管部门在海洋环境保护中承担着重要的监管职责。它们负责监测海洋环境质量，评估海洋污染状况，制定海洋环境保护政策和规划，并监督执行。当发现有人向海洋非法倾倒废弃物时，生态环境主管部门会立即展开调查，收集证据，并根据违法行为的性质和情节，依法对违法者进行处罚。处罚措施可能包括罚款、责令停止违法行为、限期改正、恢复原状等。

实际案例角度

在实际操作中，已经有多起向海洋非法倾倒废弃物的案件由生态环境主管部门进行查处。例如，某些企业或个人为了节省处理成本，将废弃物直接倾倒入海，严重污染了海洋环境。生态环境主管部门在接到举报或发现线索后，会迅速组织力量进行调查，并依法对违法者进行处罚。这些案例充分说明了生态环境主管部门在打击向海洋非法倾倒废弃物行为中的重要作用。

特殊情况说明

虽然生态环境主管部门是主要的处罚主体，但在某些特殊情况下，其他相关部门也可能参与处罚工作。例如，如果非法倾倒的废弃物涉及危险废物或放射性物质等特殊物质，那么环保、海事、公安等部门可能会联合行动，共同查处违法行为。不过，在这种情况下，生态环境主管部门仍然会发挥主导作用，协调各部门的工作，确保处罚工作的顺利进行。

建议：如果你发现有人向海洋非法倾倒废弃物，或者你自己或你的企业涉及此类行为，建议立即向当地的生态环境主管部门报告或咨询。同时，也要加强自身的环保意识，遵守相关法律法规，共同保护我们的海洋环境。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。