结论：伤残赔偿金一般属于个人财产，在对方无权分割的情况下，若已被对方取走一半，您有权通过法律途径要回；但若存在特殊情况，如双方有约定或该赔偿金被视为共同财产，则要回的难度会增加，需具体分析。
分析说明：
伤残赔偿金的性质：
- 伤残赔偿金通常是对个人因身体受到伤害而获得的补偿，它旨在弥补个人因伤残所遭受的损失，包括医疗费、误工费、残疾生活辅助具费等。
- 根据一般法律原则，伤残赔偿金属于个人财产，而非夫妻共同财产，除非有特别约定或法律另有规定。
对方无权分割的情况：
- 如果伤残赔偿金是在婚姻关系存续期间获得，但明确约定为个人财产，或者根据法律规定应属于个人财产（如因个人身体伤害获得的赔偿），则对方无权分割。
- 在此情况下，若对方擅自取走一半伤残赔偿金，您有权通过法律途径（如起诉要求返还）来维护自己的合法权益。
可能存在的特殊情况：
- 如果双方在婚姻关系存续期间有约定，将伤残赔偿金视为共同财产，或者该赔偿金在某种情况下被视为共同财产（如用于家庭共同生活等），则对方可能有权分割。
- 在此情况下，要回被对方取走的一半伤残赔偿金可能会面临一定的法律障碍，需要具体分析双方约定或法律规定。
行动建议：
收集证据：
- 收集与伤残赔偿金相关的所有证据，包括赔偿协议、支付凭证、医疗记录等，以证明该赔偿金的性质和金额。
- 如果可能，收集对方擅自取走赔偿金的证据，如银行转账记录、聊天记录等。
咨询专业律师：
- 虽然我是一名专业律师，但每个案件的具体情况都有所不同。因此，我建议您直接向我咨询，提供详细的案件情况，以便我能给出更具体的法律建议。
- 律师将根据您的具体情况，分析对方是否有权分割伤残赔偿金，以及您如何通过法律途径要回被对方取走的部分。
考虑法律途径：
- 如果律师认为您有权要回被对方取走的一半伤残赔偿金，您可以考虑通过起诉等法律途径来维护自己的权益。
- 在起诉过程中，您需要提供充分的证据来支持自己的主张，并遵循法院的审理程序。
后续思考：
- 在处理此类纠纷时，除了考虑法律途径外，还可以考虑通过调解、协商等方式解决争议，以节省时间和成本。
- 如果双方能够达成和解协议，应确保协议内容明确、合法，并尽可能通过书面形式固定下来，以避免后续纠纷。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。