结论：对方借您的钱购买东西后不还钱，您有权要求对方返还借款，但能否直接要回所购物品需视具体情况而定。以下从不同角度为您详细分析：
一、借款关系的法律性质
借款合同关系：根据《中华人民共和国民法典》的相关规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。您与对方之间若存在明确的借款约定（如口头或书面协议），则双方构成借款合同关系。在此情况下，您有权要求对方按照约定返还借款本金及可能的利息（如双方有约定）。
借款用途的约定：若借款时双方明确约定了借款用途（如购买特定物品），且对方未按约定使用借款，您可能有权要求对方承担违约责任。但这一权利并不直接等同于您有权要回所购物品，除非双方有特别约定或法律另有规定。
二、能否直接要回所购物品
无特别约定时：在一般情况下，借款与所购物品是两个独立的法律关系。借款是您与对方之间的债权债务关系，而所购物品是对方基于借款后自行购买的行为。因此，除非双方有特别约定（如借款以物品形式返还），否则您无权直接要求对方返还所购物品。
有特别约定时：若双方在借款时明确约定了借款以特定物品形式返还（如借款用于购买某物品，且该物品在借款到期后归您所有），则您有权在借款到期后要求对方返还该物品。但此类约定需明确、具体，且不得违反法律、行政法规的强制性规定。
对方行为构成欺诈或不当得利时：若对方在借款时虚构事实、隐瞒真相，以非法占有为目的骗取您的借款用于购买物品，则可能构成欺诈。在此情况下，您有权向公安机关报案，并要求对方返还借款及可能因欺诈行为给您造成的损失。另外，如果对方没有合法依据，取得不当利益，造成您损失的，您也可以不当得利为由要求对方返还。
三、建议采取的措施
与对方协商：首先，您可以尝试与对方进行友好协商，明确借款金额、还款期限及方式等事项，并要求对方按照约定履行还款义务。
收集证据：若协商无果，您应开始收集相关证据，如借款协议、转账记录、聊天记录等，以证明双方之间的借款关系及对方的违约行为。
寻求法律途径：在收集到充分证据后，您可以向人民法院提起诉讼，要求对方返还借款本金及可能的利息。若双方有特别约定或对方行为构成欺诈、不当得利等情形，您还可以在诉讼中提出相应的诉讼请求。
最后，借款纠纷是常见的经济纠纷类型之一。在处理此类纠纷时，建议您保持冷静、理性，并寻求专业法律帮助以确保自身权益得到充分保障。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。