结论：抵押给对方的东西拿回来是否算盗窃，不能一概而论，需要分情况讨论。

1. 如果抵押物仍在抵押权人（即对方）的控制之下，且未经其同意擅自取回：

   • 在这种情况下，由于抵押物仍然处于抵押权人的占有之下，抵押人未经抵押权人同意擅自取回抵押物，可能构成对抵押权人财产权的侵犯，从而有可能被认定为盗窃行为。但具体是否构成盗窃，还需要考虑取回行为的具体情节、抵押权人的态度以及当地法律的具体规定等因素。
   • 法律背景：根据《中华人民共和国刑法》的相关规定，盗窃是指以非法占有为目的，秘密窃取公私财物的行为。如果抵押人未经抵押权人同意，秘密取回抵押物，且数额较大或者有其他严重情节，就可能构成盗窃罪。

2. 如果抵押物已经回到抵押人手中，或者抵押权人同意抵押人取回：

   • 在这种情况下，抵押物已经不再处于抵押权人的控制之下，或者抵押权人已经明确表示同意抵押人取回抵押物，那么抵押人取回抵押物的行为就是合法的，不构成盗窃。
   • 法律建议：为了避免不必要的法律纠纷，抵押人在取回抵押物之前，最好先与抵押权人进行沟通，确保取回行为得到抵押权人的同意。如果抵押权人不同意取回，抵押人应该通过合法途径解决纠纷，如协商、调解、诉讼等，而不是擅自取回抵押物。

3. 如果抵押合同中有特别约定：

   • 如果抵押合同中明确规定了抵押人在特定条件下可以取回抵押物，或者规定了取回抵押物的具体程序和方式，那么抵押人按照合同约定取回抵押物的行为就是合法的，不构成盗窃。
   • 法律提醒：在签订抵押合同时，双方应该明确约定抵押物的处置方式、取回条件等关键条款，以避免后续出现纠纷。同时，抵押人在行使取回权时，也应该严格遵守合同约定和法律规定。

可能法律后果：

• 如果抵押人的取回行为被认定为盗窃，那么抵押人可能面临刑事处罚，包括有期徒刑、拘役、罚金等。同时，抵押人还可能需要承担民事赔偿责任，赔偿抵押权人因此遭受的损失。

进一步思考：

• 在处理抵押物纠纷时，双方应该保持冷静和理性，通过合法途径解决纠纷。如果双方无法协商解决，可以寻求专业律师的帮助，通过诉讼等法律手段维护自己的合法权益。
• 作为抵押人，在签订抵押合同时应该仔细阅读合同条款，了解自己的权利和义务。在行使取回权时，应该确保自己的行为符合合同约定和法律规定，以避免不必要的法律风险。

如果您在抵押物纠纷方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。