限制他人人身自由的认定，主要依据以下几个方面：

1. 行为定义：限制人身自由，指的是非法剥夺或限制他人依据自身意志支配身体活动的自由。这包括但不限于将他人关押在特定场所、通过暴力或威胁手段限制他人外出活动，以及使用精神强制方法限制他人行动自由等。

2. 行为主体：只要是达到法定责任年龄、具有责任能力的自然人，都可能成为限制人身自由的行为主体。

3. 主观故意：行为人必须是故意为之，明知自己的行为会限制他人人身自由，仍然积极实施这种行为。

4. 行为表现：

   • 采用暴力手段，如捆绑、殴打等方式限制他人活动。
   • 以威胁手段，包括以暴力威胁或者其他损害他人权益的威胁，使他人不敢离开特定场所或进行特定活动。
   • 利用其他强制手段，如非法拘禁在封闭空间，阻止他人正常出行、交往等活动。

5. 时间因素：非法拘禁持续时间超过24小时，通常会被认定为非法拘禁行为。但并非绝对，如果有以下情形，即使未达24小时也可能构成非法拘禁：

   • 3次以上非法拘禁他人，或者一次非法拘禁3人以上的。
   • 非法拘禁他人，并实施捆绑、殴打、侮辱等行为的。
   • 非法拘禁，致人伤残、死亡、精神失常的。
   • 为索取债务非法扣押、拘禁他人，具有上述情形之一的。
   • 司法工作人员对明知是无辜的人而非法拘禁的。

6. 合法性判断：关键在于这种限制是否非法，即是否没有合法依据或未按法定程序进行。公权力机关依法对犯罪嫌疑人、被告人采取的刑事强制措施，以及为维护社会治安秩序等依法对特定人员采取的约束措施，不属于非法限制人身自由。

综上所述，限制他人人身自由的认定是一个综合多方面的考量过程，包括行为定义、行为主体、主观故意、行为表现、时间因素以及合法性判断等。如果您或他人遭遇这种情况，应及时报警并寻求法律援助，以维护自身权益。