结论：若您确实没有参与赌博，且警察搜身拿走的钱与赌博无关，您是有权要求返还的。但具体能否要回，还需根据实际情况和证据来判断。

分析说明：

1. 警察搜身的合法性：

   • 警察在执行职务时，有权依法对嫌疑人进行搜身，但必须符合法律规定的条件和程序。如果警察在搜身过程中没有遵循法定程序，或者搜身行为超出了其职权范围，那么该搜身行为可能是违法的。

2. 钱款的性质：

   • 如果您身上的钱款与赌博活动无关，且您能够提供证据证明这一点（如钱款的来源、用途等），那么警察无权扣留这些钱款。
   • 如果钱款被认定为与赌博活动有关，或者您无法提供证据证明钱款与赌博无关，那么警察可能会根据相关法律规定对钱款进行扣留或没收。

3. 您的权利与救济途径：

   • 如果您认为警察的搜身行为违法，或者钱款被错误扣留，您有权向相关部门（如公安机关的督察部门、上级公安机关或检察机关）提出申诉或控告。
   • 您也可以考虑通过法律途径来维护自己的权益，如提起行政诉讼或民事诉讼，要求确认警察的搜身行为违法，并返还被扣留的钱款。

实际操作建议：

• 收集证据：首先，您需要尽可能收集能够证明您没有参与赌博以及钱款与赌博无关的证据，如钱款的来源证明、用途记录等。
• 与警察沟通：在收集到足够证据后，您可以尝试与警察进行沟通，说明情况并提供证据，要求返还被扣留的钱款。
• 寻求法律援助：如果与警察的沟通没有结果，或者您认为自己的权益受到了严重侵害，您可以考虑寻求法律援助，咨询专业律师的意见，并考虑通过法律途径来维护自己的权益。

特殊场景提醒：

• 如果警察在搜身过程中发现了其他违法物品或证据，且这些物品或证据与您有关，那么您可能需要面对相应的法律责任。在这种情况下，即使您没有参与赌博，也可能因为其他违法行为而面临处罚。
• 如果您对警察的搜身行为或钱款扣留行为有异议，但无法提供足够证据来证明自己的清白，那么您可能需要承担一定的举证责任风险。在这种情况下，建议您尽快咨询专业律师，以便更好地了解自己的法律权益和可能的法律后果。

法律条款参考：

• 根据《中华人民共和国刑事诉讼法》的相关规定，警察在执行职务时必须遵守法定程序和权限，不得侵犯公民的合法权益。
• 如果警察的搜身行为违反了法律规定，您有权向相关部门提出申诉或控告，并要求追究相关人员的法律责任。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。