结论：劳务合同中交保证金后不去工作，保证金能否退还取决于合同的具体约定以及相关法律法规的规定。以下从不同角度进行分析：
一、合同约定角度
合同中有明确约定：
- 如果劳务合同中明确规定了保证金在何种情况下可以退还，例如“若乙方（劳动者）在合同签订后未实际到岗工作，甲方（用人单位）应退还保证金”，则按照合同约定执行。在此情况下，您有权要求用人单位退还保证金。
合同中无明确约定或约定模糊：
- 如果合同中没有明确约定保证金退还的条件，或者约定模糊不清，导致双方对保证金退还存在争议，那么需要依据相关法律法规进行判断。
二、法律法规角度
保证金收取的合法性：
- 根据《中华人民共和国劳动合同法》及相关规定，用人单位在与劳动者订立劳动合同时，不得以任何名义收取财物作为担保。如果用人单位违反此规定收取保证金，该行为本身即违法，您有权要求用人单位退还保证金，并可以向劳动行政部门投诉。
保证金退还的法律依据：
- 即便合同中有关于保证金的约定，但如果该约定违反了法律法规的强制性规定（如上述不得收取财物的规定），则该约定无效。在此情况下，您同样有权要求用人单位退还保证金。
三、实际操作建议
与用人单位协商：
- 首先，您可以尝试与用人单位进行协商，明确表达您的诉求和理由，要求用人单位退还保证金。在协商过程中，保持冷静和理性，尽量通过友好沟通解决问题。
收集证据并投诉：
- 如果协商无果，您可以收集相关证据（如劳务合同、保证金收据、沟通记录等），向当地劳动行政部门投诉。劳动行政部门将依法对用人单位的违法行为进行调查处理，并可能责令用人单位退还保证金。
寻求法律援助或诉讼：
- 如果投诉仍未解决问题，您可以考虑寻求法律援助或向人民法院提起诉讼。在诉讼过程中，您需要提供充分的证据证明用人单位的违法行为以及您的损失情况，以便法院作出公正判决。
后续行动建议：在处理此类问题时，建议您保持冷静和理性，不要采取过激行为。同时，注意收集并保存相关证据，以便在需要时维护自己的合法权益。如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。