退伍军人并不一定要回到当地（即入伍时的户口所在地）安置，具体的安置地点会根据一系列政策和条件来确定。以下是对这一问题的详细解答：
一、基本原则
退役士兵的安置地原则上为其入伍时的户口所在地，即通常所说的“从哪来回哪去”。然而，也存在一些特殊情况，允许退役士兵在符合一定条件的情况下进行易地安置。
二、易地安置的条件
父母户口所在地变更：如果退役士兵在服役期间，其父母的户口所在地发生了变更，那么退役士兵可以选择在父母现户口所在地进行安置。
婚姻关系：符合军队有关现役士兵结婚规定且结婚满2年的退役士兵，可以在配偶或者配偶父母户口所在地进行安置。这里的“结婚满2年”是指从士官夫妻双方到结婚登记机关登记并领取结婚证书之日起，至士官被批准退出现役之日止满2周年。
特殊原因：因其他特殊原因，如国家和军队建设需要、需要照顾就医、就业、生活困难的残疾退役士兵、符合政府安排工作条件且自行找到接收安置单位的退役士兵，以及服役期间有重大立功受奖表现且当地政府和有关用人单位愿意接收安置的退役士兵，可以由部队师（旅）级单位出具证明，经省级以上政府退役军人事务部门批准后进行易地安置。
特殊照顾政策：对于因战致残、服现役期间平时荣获二等功以上奖励或战时荣获三等功以上奖励、是烈士子女、父母双亡的退役士兵，根据本人申请，可由省级以上政府退役军人事务部门按照有利于退役士兵生活的原则确定其安置地。
三、放宽安置地限制
根据相关政策，士兵服现役期间父母户口所在地变更的，可随父母任何一方安置，也可在配偶或者配偶父母任何一方户口所在地安置。但需要注意的是，如果易地安置落户到国务院确定的超大城市，应符合该城市关于落户的相关政策规定。
综上所述，退伍军人并不一定要回到当地安置，而是可以根据自身情况和相关政策选择适合的安置地点。如果您有具体的安置需求或疑问，建议咨询当地的退役军人事务部门或相关机构以获取更详细的解答和帮助。