限制人身自由的处罚只能由法律来设定，且其行使权严格限定在公安机关范围内。以下是对这一结论的详细解释：

1. 法律依据与设定权限：

   • 根据《中华人民共和国立法法》和《中华人民共和国行政处罚法》的相关规定，限制人身自由的处罚是最为严厉的行政措施之一，直接涉及公民的人身自由这一基本权利。
   • 因此，其设定权被严格限定于法律层面，即由全国人民代表大会及其常务委员会制定的规范性文件。这一规定确保了限制人身自由处罚的设定具有最高的权威性、严肃性和审慎性。

2. 行使权力的主体：

   • 《中华人民共和国行政处罚法》明确规定，限制人身自由的行政处罚权只能由公安机关行使。
   • 这意味着，无论是决定权还是执行权，都严格限于公安机关的范围之内。其他任何机关、组织或个人均无权行使这一权力。

3. 权力行使的严格性：

   • 由于限制人身自由的处罚具有严厉性，其设定和实施必须遵循严格的法律程序。
   • 这不仅包括处罚的设定需经法律明确授权，还包括在执行过程中必须严格遵守法定的程序和要求。
   • 国务院或经国务院授权的省、自治区、直辖市人民政府虽然在一定条件下可以决定一个行政机关行使有关行政机关的行政处罚权，但这一权力并不包含限制人身自由的行政处罚权。

综上所述，限制人身自由的处罚作为最为严厉的行政措施之一，其设定权严格限定于法律层面，且行使权仅限于公安机关。这一规定旨在保护公民的基本权利和自由，确保处罚的合法性和正当性。在实际应用中，我们必须严格遵守相关规定，确保公民的合法权益不受侵犯。如果您对此类问题有任何疑问或需要进一步的法律帮助，请直接向我咨询。