限制人身自由的权力并非由任意一方行使，而是有明确的法律规定，即主要由公安机关来行使。以下是对这一问题的详细分析：

一、法律依据

根据《中华人民共和国行政处罚法》的相关规定，限制人身自由的行政处罚权只能由公安机关行使。这一规定明确了公安机关在限制人身自由方面的法定职责和权力。同时，该法也规定了国务院或者经国务院授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权，但这一授权并不包括限制人身自由的行政处罚权。

二、公安机关的职责与权力

1. 维护社会治安：公安机关作为维护社会治安的重要力量，有权对违反治安管理法规的行为进行查处，并在必要时采取限制人身自由的措施，如行政拘留等。
2. 执行行政处罚：在行政处罚过程中，如果涉及限制人身自由的处罚，如行政拘留，必须由公安机关来执行。其他政府部门或单位无权决定或执行此类处罚。

三、限制人身自由的具体情形与程序

1. 具体情形：限制人身自由的行政处罚通常适用于严重违反治安管理法规的自然人。例如，对于扰乱公共秩序、妨害公共安全、侵犯人身权利、财产权利等行为，公安机关可以依法采取限制人身自由的措施。
2. 执行程序：公安机关在执行限制人身自由的行政处罚时，必须严格遵守法定程序。这包括传唤、讯问、取证、裁决、执行等环节。任何违反法定程序的行为都可能导致处罚的无效或撤销。

四、其他单位或个人的限制

除了公安机关外，其他单位或个人无权限制他人的人身自由。任何非法限制他人人身自由的行为都可能构成违法行为，甚至犯罪行为。例如，非法拘禁、绑架等行为都严重侵犯了他人的人身自由权，将受到法律的严厉制裁。

五、法律后果与建议

1. 法律后果：对于非法限制他人人身自由的行为，法律将给予严厉的制裁。这包括行政处罚、刑事处罚等。同时，受害者还有权要求侵权者承担民事赔偿责任。
2. 建议：在日常生活中，我们应该尊重他人的人身自由权，不得非法限制或剥夺他人的人身自由。如果遇到他人非法限制自己人身自由的情况，应及时向公安机关报案并寻求法律帮助。

如有任何法律问题或需要进一步的法律建议，请直接向我咨询。我将根据您的具体情况提供专业的法律意见和帮助。