结论：您可以不做这份工作，但能否全额退回履约金以及是否需要承担其他责任，需根据合同具体条款和实际情况来判断。以下从不同角度为您详细分析：
一、合同效力与履约金性质
合同效力：
- 您与用人单位签订的合同，若双方意思表示真实，且内容不违反法律、行政法规的强制性规定，那么该合同是有效的。合同一旦生效，双方均应按照约定履行各自的义务。
履约金性质：
- 履约金通常是为了确保合同的履行而由一方支付给另一方的款项。在您的情况下，作为应聘司机，您支付了履约金，这可能是为了确保您会按照合同约定入职并履行司机职责。
二、未试工即决定不做的法律后果
合同解除权：
- 在合同未实际履行前，您有权根据合同约定或法律规定解除合同。但需注意，若合同中明确规定了未试工即解除合同的违约责任，您可能需要承担相应的违约责任。
履约金退还：
- 关于履约金的退还，需查看合同中的具体条款。若合同中明确规定了在未试工或未入职的情况下履约金应全额退还，那么您有权要求用人单位退还。
- 若合同中未明确规定，或规定在未试工或未入职的情况下履约金不予退还，那么您可能需要与用人单位协商解决。在协商过程中，您可以强调自己并未实际享受用人单位提供的任何服务或资源，因此要求退还履约金是合理的。
可能的违约责任：
- 除了履约金的问题外，您还需关注合同中是否规定了其他违约责任。例如，是否规定了因您单方面解除合同而需支付违约金或赔偿损失等。若合同中有此类规定，您可能需要承担相应的责任。
三、建议与行动步骤
仔细审查合同：
- 首先，您应仔细审查与用人单位签订的合同，特别是关于合同解除、履约金退还以及违约责任等方面的条款。
与用人单位协商：
- 在了解合同内容后，您可以与用人单位进行协商，表达自己不想继续履行合同的意愿，并要求退还履约金。在协商过程中，保持冷静和理性，尽量以和平的方式解决问题。
寻求法律援助：
- 若协商无果，或您认为用人单位的行为违反了法律规定或合同约定，您可以寻求法律援助。作为专业律师，我可以为您提供法律咨询和代理服务，帮助您维护自己的合法权益。
最后，若您在处理此事过程中遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。我会根据您的具体情况，为您提供专业、全面的法律服务。