针对“不是本人的借条可以向借款人要钱吗”这一问题，我们需要从法律角度进行深入分析。

首先，要明确的是，如果借条并非本人所写，而是他人以被代理人的名义向借款人提出还款要求，这确实涉及到了无权代理等法律问题。在法律上，无权代理是指没有代理权的人以被代理人的名义进行民事活动。

接下来，我们需要考虑的是表见代理的情况。表见代理是一种特殊的无权代理，它要求满足两个条件：一是行为人没有代理权；二是相对人有合理理由相信行为人有代理权。如果小胡（或任何其他非真正债权人）的行为构成了表见代理，那么借款人向“代理人”（如小胡）还钱后，该还款行为对被代理人（即真正的债权人）是发生效力的。

然而，如果小胡的行为不构成表见代理，那么借款人把钱还给非真正债权人（如小胡）是存在风险的。因为真正的债权人可能会否认这一还款行为，导致借款人需要再次还款。

对于借款人来说，当面对非真正债权人的还款要求时，应采取谨慎的态度。建议借款人要求主张还钱的一方提供充分的授权证明等材料，以核实其身份和代理权限。如果对方无法提供这些材料，借款人有权拒绝支付。

此外，如果因错误支付产生了纠纷，借款人可以通过诉讼等方式来维护自己的合法权益。在诉讼过程中，法院会根据具体情况来确定责任归属，并作出相应的判决。

综上所述，不是本人的借条本身并不能直接作为向借款人要钱的依据。如果涉及无权代理或表见代理的情况，借款人需要谨慎核实对方的身份和代理权限，并在必要时通过法律途径来维护自己的权益。