关于行政处罚的实施机关，下列说法中正确的是：

行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。

具体分析如下：

1. 法定行政机关：根据《中华人民共和国行政处罚法》及相关法律规定，行政处罚只能由依法享有行政处罚权的行政机关实施，如公安、税务等机关，它们依据法律授权对特定领域的违法行为进行处罚。

2. 法律法规授权组织：除法定行政机关外，某些非行政机关但经法律法规明确授权的组织，如证监会、银保监会等，也享有在特定领域内的行政处罚权。这些组织的处罚权来源于具体法律条文的授权。

3. 受委托组织：在特定情况下，行政机关可以依法委托符合条件的组织实施行政处罚，但委托书必须载明委托的具体事项、权限、期限等内容，并向社会公布。受委托组织在委托范围内以委托行政机关名义实施行政处罚。

4. 特殊规定：值得注意的是，限制人身自由的行政处罚权只能由公安机关和法律规定的其他机关行使，这是出于对人权保障的特别考虑。

综上所述，行政处罚的实施机关必须是具有行政处罚权的行政机关，或者在法定授权范围内的组织，且必须在法定职权范围内实施处罚。其他任何机关或组织都无权实施行政处罚。因此，上述结论是正确的。