限制人身自由的行政处罚只能由法律规定，并且由公安机关依法行使。以下是详细分析：
法律设定的专属性：
- 根据《中华人民共和国行政处罚法》第十条明确规定，法律可以设定各种行政处罚，而限制人身自由的行政处罚，因其直接关乎公民的基本权利与自由，故只能由全国人民代表大会及其常务委员会制定的法律进行设定。这一规定确保了限制人身自由处罚的严肃性和合法性。
公安机关的行使权限：
- 依据《中华人民共和国行政处罚法》第十八条第三款的规定，限制人身自由的行政处罚权主要由公安机关行使。例如，《中华人民共和国治安管理处罚法》等法律法规赋予了公安机关对违反治安管理规定的行为人作出行政拘留等限制人身自由处罚的权力。这体现了国家对公民基本权利的严格保护和对行政处罚权力的严格控制。
排除其他机关的行使权力：
- 除公安机关外，其他国家机关或组织均不得擅自行使限制人身自由的行政处罚权，以确保行政处罚的权威性和统一性，避免权力分散和滥用。
综上所述，限制人身自由的行政处罚是一项严肃的法律措施，其设定和实施都必须严格遵守法律规定，只能由法律设定，并且由公安机关依法行使。若您对此类问题有任何疑问或需要进一步的法律帮助，请直接向我咨询。