结论概述：退伍转业安排的工作若不想继续从事，您需根据具体情况，考虑与单位协商解除劳动关系、依据法律规定解除合同或承担违约责任等不同路径。以下是对此问题的详细分析：
一、与单位协商解除劳动关系
协商过程：
- 您应首先与安排工作的单位进行坦诚沟通，表达您不想继续从事该工作的意愿。
- 双方可以就解除劳动关系的条件、经济补偿等事项进行协商，并达成一致意见。
协商结果：
- 如果协商成功，双方应签订书面协议，明确解除劳动关系的时间、经济补偿等条款。
- 协议签订后，您应按照协议约定办理离职手续，确保双方权益得到保障。
二、依据法律规定解除合同
法定解除情形：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动者在特定情形下有权解除劳动合同，如用人单位未按照劳动合同约定提供劳动保护或者劳动条件、未及时足额支付劳动报酬等。
- 如果您的情况符合法定解除情形，您可以向单位提出解除劳动合同的申请。
解除程序：
- 您应提前通知单位，并说明解除劳动合同的理由和依据。
- 单位在收到您的申请后，应进行审查，并在法定期限内办理离职手续。
三、承担违约责任
违约责任认定：
- 如果您与单位签订的劳动合同或相关协议中约定了服务期、竞业限制等条款，而您未履行完毕或违反了这些条款，您可能需要承担违约责任。
- 违约责任的具体形式和金额应根据合同约定和法律规定进行确定。
违约责任承担：
- 如果您需要承担违约责任，您应与单位协商确定违约金的金额和支付方式。
- 在支付违约金后，您可以与单位解除劳动关系。但需注意，违约金的支付不应影响您依法享有的其他权益。
四、特殊情况考虑
- 转业安置政策：退伍转业安置工作通常涉及国家政策，您在决定解除劳动关系前，应充分了解相关政策规定，确保自己的决定符合政策要求。
- 个人职业规划：在决定是否继续从事安排的工作时，您还应考虑自己的职业规划和发展前景。如果认为该工作不符合自己的职业规划或发展前景不佳，您可以考虑寻找其他更适合自己的工作机会。
行动建议：在做出决定前，建议您先详细了解相关法律法规和政策规定，并咨询专业人士（如我，占海兵律师，专注于劳动纠纷等领域）的意见。同时，与单位进行充分沟通，确保双方权益得到妥善处理。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。