结论：没有去用人单位工作却被收取违约金，一般情况下是不合法的。不过，具体是否合法还需根据实际情况来判断，以下从不同角度为你详细分析。

合法性分析角度

1. 从劳动合同签订及履行情况来看
   • 未签订劳动合同且未实际工作：如果双方尚未签订正式的劳动合同，且劳动者根本没有去用人单位工作，那么双方之间并未建立起劳动关系。在这种情况下，用人单位收取违约金缺乏法律依据。因为违约金的设定通常是以存在有效的合同关系以及一方存在违约行为为前提的，没有合同关系也就无所谓违约，用人单位自然无权收取违约金。
   • 签订了劳动合同但未实际工作：即便双方签订了劳动合同，但如果劳动者因合理原因（如用人单位未按照约定提供劳动条件、未及时足额支付劳动报酬等）导致未能实际到岗工作，这也不属于劳动者的违约行为。此时用人单位收取违约金同样是不合法的。例如，用人单位承诺为劳动者提供特定的办公设备和住宿条件，但到劳动者报到时却无法兑现，劳动者因此未去工作，用人单位就不能以此为由收取违约金。
2. 从违约金约定的合法性来看
   • 法律对违约金约定的限制：根据相关法律规定，用人单位与劳动者订立劳动合同，不得在劳动合同中约定由劳动者承担违约金，但有两种例外情形。一是用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期，劳动者违反服务期约定的，应当按照约定向用人单位支付违约金；二是用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项，劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。如果用人单位收取违约金不属于这两种例外情形，那么其约定就是违法的。
   • 未实际工作与违约金约定的关联性：即使存在上述可以约定违约金的情形，但如果劳动者根本没有去用人单位工作，也就不存在违反服务期约定或竞业限制约定的行为，用人单位以此为由收取违约金也是不合理的。比如，用人单位为劳动者提供了专项培训，但劳动者在培训结束后、正式入职前因个人原因决定不去了，由于尚未建立劳动关系且未实际开始履行可能涉及服务期的工作，用人单位不能要求劳动者支付违约金。

应对建议角度

1. 与用人单位协商
   • 如果你遇到了这种情况，首先可以尝试与用人单位进行友好协商，向其说明收取违约金缺乏法律依据，要求其退还已收取的违约金。在协商过程中，要保持冷静和理性，以事实和法律为依据，表达自己的合理诉求。例如，你可以说：“根据相关法律规定，我们之间尚未建立劳动关系，我也没有违约行为，您收取违约金是不合法的，希望您能退还。”
2. 向劳动监察部门投诉
   • 如果协商无果，你可以向当地的劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行查处，并责令其改正。你需要准备好相关的证据材料，如与用人单位沟通的记录、收取违约金的凭证等，以便劳动监察部门能够更好地了解情况并作出处理。
3. 申请劳动仲裁
   • 你还可以向劳动争议仲裁委员会申请劳动仲裁。劳动仲裁是解决劳动纠纷的一种重要方式，仲裁委员会会根据双方提供的证据和法律规定作出公正的裁决。在申请劳动仲裁时，你需要提交仲裁申请书、相关证据材料等，并按照仲裁程序的要求参与仲裁活动。

后续思考依据：在处理这类问题时，关键在于准确判断双方之间是否存在劳动关系以及劳动者是否存在违约行为。同时，要熟悉相关法律法规中关于违约金约定的规定，以便能够准确地判断用人单位收取违约金的合法性。如果对法律条文的理解存在疑问或遇到复杂的情况，建议及时向我咨询，我会根据你的具体情况为你提供更详细的法律建议。