结论：在机构退费且未签订合同的情况下，是否需要支付违约金，主要取决于双方是否存在事实上的合同关系、合同内容的具体约定以及违约行为的认定。以下从不同角度进行分析：

一、事实合同关系的认定

1. 口头约定或行为表示：

   • 如果双方虽然没有签订书面合同，但通过口头约定或实际行为（如一方提供服务，另一方接受服务并支付费用）表明了双方存在合同关系，那么这种口头约定或行为表示同样具有法律效力。
   • 在此情况下，如果一方（如机构）要求退费，而另一方（如学员）认为机构存在违约行为（如未按照约定提供服务），则可能涉及违约金的支付问题。但具体是否需要支付，还需看合同内容的具体约定。

2. 无明确约定：

   • 如果双方既没有签订书面合同，也没有明确的口头约定，且无法通过实际行为推断出双方存在合同关系，那么在这种情况下，机构要求支付违约金可能缺乏法律依据。

二、合同内容的具体约定

1. 违约金条款：

   • 如果双方存在事实上的合同关系，并且合同中明确约定了违约金条款（包括违约金的数额、支付方式、支付条件等），那么在一方违约时，另一方有权要求按照合同约定支付违约金。
   • 但需要注意的是，违约金的数额应当合理，不得过高或过低。如果违约金数额过高，违约方可以请求法院或仲裁机构予以适当减少；如果违约金数额过低，守约方可以请求法院或仲裁机构予以增加。

2. 无违约金条款：

   • 如果合同中没有约定违约金条款，那么在一方违约时，另一方通常不能要求支付违约金。但可以根据实际情况，要求违约方承担其他形式的违约责任，如赔偿损失等。

三、违约行为的认定

1. 机构违约：

   • 如果机构未按照约定提供服务（如教学质量不达标、服务内容与约定不符等），导致学员要求退费，那么在这种情况下，机构通常不能要求学员支付违约金。相反，机构可能需要承担违约责任，如赔偿学员因此遭受的损失。

2. 学员违约：

   • 如果学员无正当理由要求退费（如个人原因、对服务内容不满意但无充分证据等），且合同中明确约定了学员在违约时需要支付违约金，那么机构有权要求学员按照合同约定支付违约金。

四、法律建议

1. 收集证据：

   • 在处理此类纠纷时，建议双方首先收集相关证据（如聊天记录、转账记录、服务记录等），以证明双方存在事实上的合同关系以及违约行为的具体情况。

2. 协商解决：

   • 在收集到足够证据后，双方可以尝试通过协商的方式解决纠纷。如果协商不成，可以考虑通过法律途径解决。

3. 寻求法律帮助：

   • 如果双方无法自行解决纠纷，建议寻求专业律师的帮助。律师可以根据具体情况提供法律意见，并帮助双方制定合理的解决方案。

总结：在机构退费且未签订合同的情况下，是否需要支付违约金取决于双方是否存在事实上的合同关系、合同内容的具体约定以及违约行为的认定。如果双方存在争议且无法自行解决，建议寻求专业律师的帮助以维护自身合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。